Потому что вы пытаетесь запустить файл homework.lesson8.HelloWorld находясь в каталоге с файлом. java логично пытается найти файл ./homework/lesson8/HelloWorld.class и обламывается о чем вам и сообщает.
java HelloWorld тоже не работает т.к. java находит файл HelloWorld.class внутри которого написано что он принадлежит пакету homework.lesson8, то есть это не тот файл который хочет запустить пользователь.
Сделайте cd ../.. (перейдите в каталог src) и запускайте java homework.lesson8.HelloWorld - будет работать
Но вообще перемешивать исходный код (*.java) и скомпилированные файлы (*.class) в одних и тех же директориях - очень плохая идея. Обратите внимание, что IDEA, когда компилирует файлы складывает их в папку out. Можете перейти туда и запускать свою программу из той папки (тогда вызывать javac отдельно вам не нужно). Либо указать в опциях javac куда нужно складывать скомпилированные файлы.