• Как организовать сбор данных с нескольких систем в data warehouse для дальнейшей обработки и использования в OLAP?

    copist
    @copist
    Empower people to give
    Спасибо, что пригласили меня как эксперта.
    Вынужден сказать, что решения в общем случае нет.
    Вам придётся создавать агрегатор данных самостоятельно.

    Вариант 1. Очень умное приложение. Mega Crawler.
    Приложение Mega Crawler должно поддерживать возможность установить удалённые соединения с несколькими типами баз данных. Приложение должно знать про структуру данных каждой конкретной базы, к которой оно цепляется.
    Это будет либо жёстко закодированная логика, изменить которую сможет только программист.
    Либо гибко настраиваемая логика, на разработку которой могут уйти основные ресурсы разработки и которое будет бессильно при подключении к N+1 базе данных.
    Наиболее известный тебе аналог - это yandexbot. Пытается распарсить страницы, найти тексты, построить по ним индекс.

    Вариант 2. Приложение с сетью дата-агентов. Spider Net.
    Spider занимается выбором нужных данных из одной базы данных и пересылкой этих данных в центр "паутины" по заданному протоколу и именно в том формате, какой понимает центральный контролирующий узел.
    Наиболее известный тебе аналог - это Яндекс.Маркет. Интернет-магазины сами реализуют выгрузку товаров и передачу в Яндекс.Маркет в заранее заданном формате.

    А какие варианты у вас?
    Ответ написан
    1 комментарий