Какой стек технологий выбрать для многопоточного парсера?

Question

[Antonio Solo]

Требуется реализовать парсер параллельно выполняющий максимально возможное число запросов. Задача получить данные с удаленного сервера и занести их в свою базу данных. Вопрос обработки данных не стоит.

Какой стек технологий выбрать под Линкусовый сервер ?

язык: PHP/PYTHON ?
модель параллельности: потоки/процессы ?
база данных: MySQL/postgresql (иное)?

Answer 1

[sim3x]

scrapy и ложить файлы на hdd