Как выбрать из большого лог-файла?

Question

[Сергей Протасов]

Здравствуйте, друзья.

Есть компания, которая продаёт просмотры баннеров в Интернете.

За всё время в логе накопилось 300 млн. записей. Лог состоит из следующих записей:

• id пользователя (хеш-код)
  
• дата просмотра
  

В последнее время за сутки в лог-файл добавляется 10 млн. записей. Каждый пользователь за всё время делает от 10 до 100 просмотров, если смотреть по медиане.

Требуется сделать систему, которая за время меньше 1 сек. выдаёт количество уникальных пользователей, которые просматривали баннеры.

Максимальный промежуток дат — 3 года, минимальный — 1 день, сегодняшнюю дату запрашивать нельзя. На компьютере бесконечный HD, 2 ядра процессора, 4 Гб ОЗУ.

С помощью каких технологий можно это реализовать?

Comments

[sim3x]

Откуда возникло такое ограничение

4 Гб ОЗУ

?

[Сергей Протасов]

sim3x, только из условия задачи. Задача имеет решение, иначе её бы не было..

[sim3x]

Сергей Протасов,
Я правильно понял, что задача искусственная/умозрительная?

Какой размер хеша юзера?

[Сергей Протасов]

sim3x, возможно подобная задача стояла в реальности) 32 байта.

Answer 1

[Сергей]

Если в лоб: https://ru.wikipedia.org/wiki/ClickHouse

Comments

[stratosmi]

Это даже не из пушки по воробьям. А примерно как грузовую платформу использовать для перевозки 100 мл воды. И масштабы не те и не предназначены грузовые платформы для перевоза жидкостей.

КликХаус предназначен для анализа НЕструктуированных или СЛАБОструктурированных данных.
Другого вида данных и куда как больших объемов чем в задаче.

[d'Ivan]

stratosmi, по-моему,CH довольно экономно расходует ресурсы.
А, скажем, MariaDB ColumnStore?

[stratosmi]

Роман Мирр,

по-моему,CH довольно экономно расходует ресурсы.

Под операции агрегации/свертки?
Вы серьезно?

Answer 2

[Владимир Олохтонов]

Задача звучит как описание дерева отрезков, поскольку операция объединения множеств ассоциативна.
www.e-maxx-ru.1gb.ru/algo/segment_tree

Думаю вы можете сделать его реализацию с хранением данных на диске, а в памяти держать только оффсеты начала/конца суточных диапазонов. Их будет всего около тысячи за 3 года.

Comments

[sim3x]

Больше похоже на select count(*) from where banner_id=banner and date_time between d1 and d2

[Владимир Олохтонов]

sim3x, это то же самое по сути, вопрос скорее в том, поместятся ли индексы в память. Если да - лучше конечно использовать готовое решение, чем велосипедить.

[sim3x]

Владимир Олохтонов, сам автор указал, что задача искусственная

[Владимир Олохтонов]

sim3x, если она искуственная, то решать её очевидно надо теми инструментами, которые подразумевались в задании, тега "SQL" я не вижу :) При взгляде на тег "BigData" возникают мысли о Hadoop/Spark, но даже Spark-streaming скорее про единицы секунд, чем про субсекундные задержки.

[sim3x]

Владимир Олохтонов, точнее постгрес