Под Линуксом используются разные файловые системы и у них разные ограничения.
Наиболее распространены ext3 и ext4, но не так редко бывает RaserFS, XFS и пр.
Например, в ext3 выделяется 655360 inodes на раздел и когда они кончаются, записать ничего нельзя.
Если ответить коротко — зависит от ограничений файловой системы.
Это, пожалуй, индивидуальная мера для выбранной системы, на каком количестве файлов начнутся тормоза.
На практике, чем больше файлов в папке — тем медленнее листинг. Индивидуальный доступ к одному файлу из 30 тыс. может не отличаться по скорости(если в директорию никогда не заходить через терминал), но листинг может занять несколько минут и загрузить процессор.
Лично я распределяю по удобству копирования и архивации, примерно по несколько сотен файлов(до тысячи) в одной папке.
Выполните вход (POST с необходимыми полями) через wget. Для надежности сначала запросите GETом страницу логина /login/index.php, она проставит куки, затем выполните POST
на /login/index.php c содержимым вида "username=aaa&password=aaa&testcookies=1", в результате в сессию на стороне сервера запишется информация об успешном логине, после чего можно выкачивать все остальное
P.S.: Ночью на повышенную нагрузку сервера некому будет обратить внимания.
Стоит ли идти в эту сферу, или это обреченно на провал?
Вам - не стоит. Вы не осилили даже нагуглить ответ на один из самых частых вопросов на Тостере, так что к этой сфере со всей очевидностью не подходите.
Я думаю что вам стоит сначала посмотреть содержимое файла Только не открывайте его двойным кликом. Откройте его в редакторе кода. Минимум что может быть это вы увидете крякозяблы, максимум - хеши а значит бинарник который должен насторожить. И так если вы увидели бинарник значит ваш антивир не работает. Если же крякозяблы и их контент одинаковый в файлах подобного рода тогда это целое расследование. Если текст вам понятен то и ответ вы сами найдете.
Ответ советую поискать в планировщике задач. Наверняка там сидит какой нить скрипт для загрузги подобного рода файла.