Какой недорогой сервер для crawler-а посоветуете?

Question

[xmoonlight]

Всем привет.
Планируется сделать пул crawler-ов для сбора веб-данных в БД.
Пока денег не особо много, но нужно начинать с чего-то...
1. Какую архитектуру посоветуете?
2. Что должно быть на сервере (hard&soft), чтобы затем можно было масштабировать решение?
3. Конфиг железа и форм-фактор?
(Изначально планируется 1 сервер, затем - по-мере нагрузки...)
Спасибо.

Answer 1

[SilentFl]

Для себя пришел к выводу использовать RabbitMQ в виде кластера для постановки задач, и простому парсеру на Golang/Ruby/Python, который взаимодействует с кроликом, и зависит только от локального инстанса кролика. Результат парсер может записывать уже в БД.
В таком виде есть возможность масштабирования (добавляем ноду кролика, запускаем парсер и все), есть устойчивость (это забота кролика; парсер, если не может обработать задание, просто не отсылает Ack), простой деплой.
Прототип на Golang можно посмотреть здесь

Comments

[xmoonlight]

Спасибо. Не работал ни с тем ни с тем - буду изучать.
А что по-поводу железки?

[SilentFl]

По поводу железа ничего определенного сказать не могу, golang компилируется на многие платформы (i386, amd, arm, ...), а кролик любит память

[xmoonlight]

SilentFl: что бы Вы посоветовали из недорогих производителей (и конфиг)?

[SilentFl]

можете брать vps/vds, допустим, у того же digitalocean, можете пойти в облака на aws или gae, вполне вероятно что на начальном этапе это будет даже проще и дешевле. советовать какую-то вещь типа "бери вот эту марку вот этого производителя" вредно без знания проекта, вдруг у вас по памяти как раз все шоколадно будет, а про процу overhead.

[xmoonlight]

спрошу прямо: до 100000 страниц в сутки + regexp
(~1страница в секунду при 2-х параллельных job-ах)
такого хватит?

[SilentFl]

да. вот тут (habrahabr.ru/post/163979/) товарищ подошел к делу серьезно, и сделал репу с парсерами. Я посмотрел у себя, gokogiri выдает для 4х "эталонов" ~190, 7, 175, 166 страниц в секунду (логи тут: pastebin.ru/Hon1RKkK). Так что даже если парсить страницы наподобие page_habrahabr-70330.html (1,6Мб), то такой машинки будет все равно достаточно.

[xmoonlight]

SilentFl: Как я понял конфиг: у Вас Pentium G620 и 8Гб RAM? Верно?

[SilentFl]

да, верно, Intel(R) Pentium(R) CPU G620 @ 2.60GHz, 8Гб RAM

[xmoonlight]

SilentFl: Не могу понять что такое MAX RSS...
Как я понял надо считать так (45 строка): 136/1000 = 0.136 секунд на одну страницу. так? поток один - верно?

[SilentFl]

>man time
FORMAT: Maximum resident set size of the process during its lifetime, in Kilobytes.
Максимальное количество скушанной памяти
Количество потоков - 1.

[xmoonlight]

SilentFl: Ок. Спасибо! А посчитал я верно или ...?

[SilentFl]

про 45ю строку не понял. 136 секунд / 1000 страниц => 0,136 секунд/страница; 1000стр/136с => 7,3 страницы в секунду

[xmoonlight]

SilentFl: ну да. я так и посчитал. ну вроде разобрался теперь!
Большое Спасибо за помощь!