Какая связка поможет с BIG DATA?

Question

[LebedevStr]

Коллеги, нужен мозговой штурм, так как я не совсем ИТ, имею общие понятия.

Есть оргомный массив данных в виде базы SQL (таких баз может быть 100+). По структуре базы идентичные, отличается только содержимое. Задача:

Дано
Каждая запись имеет свой ID
ID в базах могут и будут пересекается (не всегда)
Требуется сравнение записей по ID

Идея
Есть некий ресурс с нужными данными. Этот ресурс служит для аналитики рынка. Каждая страница сайта (id) содержит архиважные метрики. Вытащить данные - непроблема, собрать метрики можно. Задача - сделать комбайн по отслеживанию ключевых метрик для каждого ID. К примеру собрал данные десяток раз, просеял через "нечто" (это я собственно и ищу) и получил список изменений.

Простой пример
Площадка купли-продажи. Каждая страница (ID) содержит ярлык "Купили n-раз", "Добавленно в закладки n-раз", таких страниц (id) миллионы. У меня на руках есть слепок, через некоторые время запускаю повторный сбор информации. В итоге есть два слепка, требуется сравнение значений для ID.

В идеале так:

Открыл приложение (на том же ангуляре) табличного типа с фильтрами где есть функия сравнения

ID | Date | Метрика 1| Метрика 2 | DB Name
01 | 01.03 | 56 | 89 | name_bd_1

ID | Date | Метрика 1| Метрика 2 | DB Name
01 | 01.04 | 101 | 133 | name_bd_2

----------------------------------------------------

ID | Date | Метрика 1 | Метрика 2 | DB Name
01 | 01.04 | + 45 | + 44 | name_bd_1 + name_db_2

+ все возможные фильтры, например по колонке Date, комбинация\сравнение больше двух баз

Подскажите как это правильно называется, так как это даже на ТЗ не похоже. Сколько может стоить, и сколько такое займет времени?

Comments

[sim3x]

Есть оргомный массив данных

сколько Тб?

в виде базы SQL (таких баз может быть 100+)

зачем однородные данные в разных таблицах?

Пока что задача не тянет на биг дату ниразу

Answer 1

[Dimonchik]

вообще это называется hadoop, для обработки есть фреймворки типа Flume, это если неспешно в map reduce играться

если спешно -обрабатывать можно и другими вариантами, влоть до новомодного Clickhouse

Comments

[LebedevStr]

Понятней не стало :) А так спасибо