Правильно ли сделана архитектура системы для парсинга?

Question

[vosyukov]

Скрипт на питоне ходит по сайту и собирает ссылки, затем он отправляет их в Rabbitmq. Другие скрипты на питоне обращаются к очереди и парсят все нужные данные и помещают ее в монгу.

Собственно вопрос , можно ли в этой системе что то сделать лучше или можно использовать какие то другие инструменты?

Comments

[Dmitry Tallmange]

Вас не устраивает скорость? Быстродействие?

[Everything_is_not_so_bad]

Вопрос: "нужно ли?". Поскольку если такая схема удовлетворяет, то зачем её менять?

[vosyukov]

Dmitry Tallmange, все устраивает, просто у меня нет опыта и возможно есть более оптимальные решения

[vosyukov]

Роман Мирр, да все устраивает, просто интересно узнать мнение тех у кого есть опыт

[lega]

если rabbitmq только для этого, то его можно выбросить и хранить "задачи" для воркеров в монге (т.к. там все для этого есть)

Answer 1

[Everything_is_not_so_bad]

Нормальное решение. Идеальных решений не бывает.

Answer 2

[InoMono]

Нужно отдавать себе отчет, что сейчас много сайтов оживают только если включен JavaScript.
То есть спарзить на голом Python можно не все.
Для полноценного чтения информации с многих сайтов нужно что то вроде SimplerJS, PhantomJS, Selenium