Если все это в csv выгружать более 400 000 строк не будет ли потом проблем?
А при чем здесь Scrapy?????
Вам виднее что вы потом собираетесь делать с этим файлом.
При последовательной построчной обработке - никаких проблем хоть с миллиардами строк не будет.
А вот если вам понадобится произвольные строки удалять или обрабатывать не подряд - это гемойнее.