Каких характеристик сервер выбрать для парсинга?

Question

[im_dimas]

Добрый день, планируется арендовать сервер для парсинга информации с сайта.
Не знаю какая информация нужна чтобы определить наилучшие характеристики нужного сервера, но на слабеньком 4 ядерном ноутбуке с частотой процессора 1,6Гц, парсинг выполняется примерно за 20 минут.
При парсинге, страниц сайта загружается примерно 900 шт

Comments

[Евгений Вольф]

но на слабеньком 4 ядерном ноутбуке с частотой процессора 1,6Гц, парсинг выполняется примерно за 20 минут.

А Вы уверены, что на этом "слабеньком 4 ядерном ноутбуке с частотой процессора 1,6Гц" нагрузка на процессор и/или память превышает хотя бы 50%?

[im_dimas]

Евгений Вольф, честно, не мониторил нагрузку на процессор

[Евгений Вольф]

im_dimas, а стоило бы... Из личного опыта могу сказать, что для периодического парсинга "многих-многих сайтов" нам за уши хватало первого попавшегося VPS за 5$, по крайней мере, когда парсеры были написаны с умом.

[Иван Шумов]

С чего вы решили что тут вообще нужна какая-то серьезная конфигурация?) Вы в один поток фигачите?)

Answer 1

[Владимир Коротенко]

Как уже выше сказали проблема не в процессоре.

Парсеры они неторопливые по своей природе, пока загрузится страница вы успеете ее разобрать, так что процессор не грузится.
Память можно оценить примерно так 20 - 100МБ + объем страницы * 12 ( DOM )
То есть если не парсить кучу страниц, а создать пул воркеров, то справиться самый простой хостинг с 512 мозгов.