Взаимодействие с данными с использованием нескольких серверов?
Задача стоит следующая, прошу сильно не пинать за вопрос. На одном сервере будет происходить парсинг, сбор, и анализ данных. На другом сайт который будет выводить уже готовую инфу. Каким образом организовать обмен данными между серверами если учесть что как только данные поступили на сервер где находится парсер и прошёл их анализ они должны сразу попасть на основной сайт. В каком направление двигаться что-бы решить задачу?
Смотрите не оптимизируйте заранее.
Вставка данных относительно легкая операция по отношению к скрапингу и получению страниц.
Кроме того допустим у вас есть скрапер, вы отдаете ему пачку адресов он что то делает, потом пишет это в бд.
Запись в бд будет довольно быстрой.