Как аггрегировать данные с нескольких постгрессов?

Question

[raiboon]

Есть десяток независимых постгресов, примерно с такой структурой таблиц:
На одном:
name | date | url | shows | clicks
alex | 21.04.2015 | 1 | 21 | 42
max | 21.04.2015 | 4 | 34 | 21
max | 22.04.2015 | 4 | 34 | 21

На другом:
name | date | url | shows | clicks
alex | 21.04.2015 | 1 | 1 | 1
max | 21.04.2015 | 4 | 1 | 1

shows и clicks на каждом сервере ежесекундно растут, добавляются записи с новыми name и url, ну тут ясно.
Как наиболее быстро и просто взять все данные с них сгруппировать и просуммировать? Что бы на так называемом мастерском постгресе в таблице схожей струтуры появилось:
name | date | url | shows | clicks
alex | 21.04.2015 | 2 | 22 | 43
max | 21.04.2015 | 8 | 35 | 22
max | 22.04.2015 | 4 | 34 | 21

Вообще сейчас это сделано питоно-скриптом который неспешно обходит по списку все постгресы, забирает данные за текущую дату, суммирует всё это, удаляет данные за последние сутки в мастер-базе и вставляет новые. И всё это крайне неспешно. И с каждым новым постгрессом это будет еще более неспешно.
А хотелось бы, если не реалтаймовой обработки, то минимальных задержек для пересчета. Когда была пара баз данных, всё было терпимо, а теперь, когда серверов больше десятка можно лечь поспать, пока всё сагрегируется.

Answer 1

[sim3x]

Хочется и нужно - две большие разницы

А хотелось бы, если не реалтаймовой обработки, то задержки не больше часа и отсуствие линейной сложности от кол-ва постгрессов.

такое наврятли получится без всяких хадупов

Вот забавное решение
stackoverflow.com/a/3200176/1346222

truncate table tableA;

insert into tableA
select *
from dblink('dbname=postgres hostaddr=xxx.xxx.xxx.xxx dbname=mydb user=postgres',
            'select a,b from tableA')
       as t1(a text,b text);

можно еще с WAL файлами поиграться и репликациями

Ну и неплохо иметь схему сервиса в общих чертах

Comments

[raiboon]

да. +1. Думал об этом, сносное решение. Но несколько велосипедное. Когда задавал вопрос, думал о том, что кто-нибудь порекомендует-расскажет об использовании Parallel Query из pg-pool2, druid или подобных известных и неизвестных мне надстройках, которые служат прослойкой для распределенных запросов

[sim3x]

raiboon: если уж и пилить прослойку, то лучше на rabbitMQ, но умных историй бы тоже послушал
Последнее, что я слышал по теме -
как в badoo пилили агрегацию и анализ посетителей на хадупе. Там только текстовый лог был

Answer 2

[Сергей]

На крайняк реализовать сервис на каком нибудь Erlang'e для которого параллельная работа делается очень легко и просто.

Comments

[sim3x]

ерл тут не нужен, кроме как для случая, что сервреров уже под 10к, а агрегатор логов поставили на pentium4

[Сергей]

Ну почему же, подконнектился ко всем серверам. В каждом процессе собрал данные и проинкрементил в ETS. В конце работы там будут лежать суммарные данные, которые можно выгрузить куда угодно.

Answer 3

[lega]

В вашем случае наверно самым оптимальным будет параллельное вычерпывание сортированных данных (по одному проходу по каждому серверу и одной записи на каждую строку), если % пересечений высок.

А вообще почему не сделать шардинг?, сделать индекс (например) по 3-м полям и заливать данные в нужные сервера (типа всех alex на 1 сервер, max на 2-ой), что-б не было пересечений, таким образом данные мержить не нужно будет + экономия памяти.
Так же непонятно наличие мастер базы, вполне возможно её можно было избежать.