Способ организации обмена данными между 2мя системами
Есть система «А», которая смотрит в интернет. Есть система «Б», которая по сути является веб-сервисом.
Нужно из системы А переправлять в Б большие объемы xml-документов.
Подскажите, как лучше организовать обмен документами?
1. сервер А инициирует соединение и отправляет на Б данные
2. сервер Б по крону опрашивает сервер А на предмет новых
или есть какая-то более правльная джедайская схема?
Может стоит посмотреть в сторону MSMQ? Не знаю, есть ли аналоги для linux, но вообще очень удобно. Одна система по мере подготовки xml'ей, скидывает их в remote-очередь, другая вынимает и обрабатывает. В случае нарушения связи сообщения копятся в локальной очереди, а после возобновления соединения, отсылаются на удаленный сервер.
Только нужно учесть, что система A может работать быстрее системы B и завалить последнюю информацией, так что система B умрет от переполнения. Нужно предусмотреть обратную связь: вначале система B оповещает систему A, что способна принять N единиц данных, и по мере переваривания продолжает оповещать о способности принять дополнительную единицу. Система А посылает данные только в объеме полученных разрешений. Впрочем, подобный механизм уже встроен в TCP/IP — системе B надо просто не читать данные, которые она не в состоянии обработать, и система А не сможет записать в канал очередную порцию.
И тут то система А должна, по идее задуматься, что же ей, несчастной, делать с этой незаписанной порцией. Ну и писать прикладной обмен данными на голом TCP тот ещё мазохизм сам по себе.
Не изобретайте велосипедов, писать обработку всяких исключений замучаетесь и всё равно случится ещё что-то. А ещё монторинг и кучка других нюансов.
Что такое «система А» и «система Б»?
Если это два сервера, на которых какие-то приложения, то, мне кажется, что будет логично поднять между ними VPN и присоединить на сервере A каталог сервера Б по NFS. Тогда сервер А просто будет класть файлы, а Б просто их забирать.
нет. это 2 разные системы одна из которых (А) является большой биллинговой системой с выходом в сеть, а другая (Б) есть некий веб-сервис. поднимать такого рода коннекты между ними крайне сложно будет
Строго говоря, для выбора решений вы предоставили недостаточно критериев. Хорошо бы определиться с требованиями к надёжности, отказоустойчивости, производительности и пропускной способности, доступности и т.п.
Но в любом случае я склонен присоединиться к предыдущему оратору — технология message queue это то, что доктор прописал.
MQ -- да, если это не в сторону rsync или btsync ближе по задаче.
Также есть вариант использовать какие-то SCM, например, Salt Stack (у неё внутри MQ, но Salt заводится очень легко, в отличие от разных голых MQ), опять же, по своей задаче надо смотреть.
