На чём написать быстрый и лёгкий crawler?

Question

[DamskiyUgodnik]

Всем привет!
Есть необходимость парсинга большого объёма данных. Был написан парсер на python (multiprocessing, request), всё работает как надо, но столкнулся с проблемой, каждый поток выедает много процессора и оперативки (даже не ожидал что будет такая нагрузка).

Логика работы следующая:

1. Берём url (например построчное чтение из файла)
   
2. Выкачиваем
   
3. Записываем ответ в файлик
   

Логика вроде примитивная и по идее грузиться ничего не должно, но уже при 20-30 потоках сервер еле шевелится (домашний ПК, средний проц, 16gb оперативки, ubuntu server, кроме парсера ничго не запускается, в диск по данным iotop не упираюсь).

Собственно интересует:
На чём обычно пишут промышленные парсеры, чтобы было быстро, многопоточно и адекватно по ресурсам (предполагаю моя проблема в использовании связки python,multiprocessing,request). Пока это видится в виде чего-то вроде C++ либо я просто не умею готовить python? :)

Comments

[АртемЪ]

Чем вы разбираете страницу? Какие библиотеки используете.
Что за процессор? - модель, частота.
Сколько ресурсов съедает один поток?
Какой средний размер одной загружаемой страницы?

[DamskiyUgodnik]

1. Страница не парсится, просто получается json по api и в текстовом виде пишется в txt файлик
2. AMD Athlon(tm) X4 840
3. Вот что выводит top

PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
13118 root      20   0  273168  43656  12540 R  14,3  0,4  25:25.34 python3
13112 root      20   0  273896  43920  12576 R  13,3  0,4  24:57.98 python3
13114 root      20   0  273268  43488  12452 S  12,6  0,4  24:59.54 python3
13119 root      20   0  275544  44464  12396 S  12,6  0,4  25:09.68 python3
13121 root      20   0  273236  44100  12504 S  12,3  0,4  25:00.07 python3
13116 root      20   0  273884  44436  12608 R  11,6  0,4  25:02.89 python3
13115 root      20   0  274084  44388  12564 R  10,0  0,4  24:57.24 python3
13117 root      20   0  273408  43448  12384 S  10,0  0,4  24:57.24 python3
13120 root      20   0  273748  44404  12604 S   9,6  0,4  24:36.45 python3

4. 5kb-50kb

Answer 1

[АртемЪ]

Да собственно на чем угодно. Чаще всего на пайтоне и пишут.

Логика вроде примитивная и по идее грузиться ничего не должно, но уже при 20-30 потоках сервер еле шевелится

Есть такая штука как мониторинг нагрузки - смотрите во что упирается - процессор, сеть, память, диск.
Далее - отладка, смотрите сколько времени занимает выполнение той или иной операции, что именно грузит, и оптимизируйте.
Вполне вероятно что проблема в неоптимальном использовании какой-нибудь тяжелой библиотеки, или регулярки сложные массово используются.

Answer 2

[Dimonchik]

Scrapy