Обмен данными о парсинге между 2 базами данных mysql?

Question

[Андрей]

Имеется машина для парсинг и удалённый Web сервер. Кто сталкивался с такой задачей подскажите самый оптимальный выход. На машине парсинг идёт соответственно парсинг, очистка и запись в бд локальную, далее из этой базы будет происходить добавление записей в удалённую бд сайта. Может есть решение которое уже опробовано и проверено чтобы не тратить время на спотыкания по пути) как вариант рассматриваю вариант парсера на пайтоне но не исследовал нагрузку.

Comments

[sim3x]

Зачем вообще требуется локальная БД?

[Nick Sdk]

sim3x, ну так если все действия (парсинг, обработка данных, выгрузка данных) происходит на одной машине
зачем в таком случае запись в НЕ локальную базу?

[Андрей]

) парсинг предполагает нагрузку на на бд повышенную поэтому такие элементы обычно выносят за границы) парсинг дело грязное и ресурсоемкое

[sim3x]

andreyk0, не грязное и не ресурсоемкое.
Разделение паука от парсера и от хранилища требуется на гигантских обьемах

В чем конкретно проблема у вас, что потребовалось использовать локальную СУБД?

Answer 1

[d'Ivan]

Результаты парсинга можно складывать в очередь, к которой могут подсоединяться воркеры по такой схеме:
Parser -> MQ <-> workers <-> HTTP API (server) <---(internet)---- HTTP client -> DB

Answer 2

[Quattro Vias]

Важно учитывать объём инфы и область парсинга, но ...

Если речь про - "самый оптимальный выход" ...
Вариант с парсингом сразу с сервера и записью в его БД - не подходит ?