alejandro68

Если все это в csv выгружать более 400 000 строк не будет ли потом проблем?

А при чем здесь Scrapy?????
Вам виднее что вы потом собираетесь делать с этим файлом.
При последовательной построчной обработке - никаких проблем хоть с миллиардами строк не будет.
А вот если вам понадобится произвольные строки удалять или обрабатывать не подряд - это гемойнее.

Штатный. С момента выхода Windows Vista ничего более и не нужно.
Сейчас уже на Win 10 сижу
Но со времен Win Vista и по сегодня ничегошеньки не словил.
И антивирус - тоже только штатный.
Никаких Касперских и пр.

В реальности - мало вероятно, чтобы они сканировали весь интернет.
Но вообще то это незаконно.
Если у твоего человека нет денег даже на то, чтобы купить макет, а они нынче стоят копейки - не связывался бы ты с ним.
Если человек не заработал копеек даже на это - он бесперспективен.

пыху прогнозируют смерть уже лет 10 как. вот сейчас, еще чуть-чуть, но все никак.
это не к тому что его надо учить, а к степени достоверности подобных прогнозов.

ну и я никогда не понимал людей, которые пытаются загонять себя в какие-то рамки.
зачем спрашивать какой язык учить, если можно изучить несколько и выбрать что понравится.

5 лет назад тоже прогнозировали смерть через 5 лет. А тут новые версии выходят, люди тонны кода пишут и ложат болт на подобные предсказания.

В общем любой из упомянутых языков можно успешно использовать и сегодня, и через 5 лет. Вопросов подобных было уже много и ответы всегда аналогичные. Удобен PHP - пишите на нем. Хочется модного Node.js - да пожалуйста. Хороший специалист на любом из этих языков найдет работу без проблем.