В какую бд лучше всего записывать много логов сайта?

Question

[fridary]

У меня появилась задача написать свою систему сбора статистики посещения сайтов, что-то вроде Яндекс метрики и Google Analytics.

В пуле будет много сайтов, суммарная посещалка думаю до 100к пользователей в день.
Схема будет схожая: выдается js скрипт, который вешается на сайт, он собирает нужные данные и отправляет запись на сервер. В таблицах будет примерно по 50 параметров о посетителе (IP, User Agent, параметры браузера...)

Возник вопрос: как целесообразнее хранить данные? Какую базу данных выбрать? Mysql, Postgresql, Mongodb, Redis или другу?
Статистика системы будет выдавать не только само значение посещения, но и её можно будет группировать по разным параметрам (примерно как в Яндекс метрике).

Так же верно я понимаю, что записи в бд из js скрипта достаточно делать обычными ajax запросами, или уже придумано более эффективная схема, чтобы сервер по 100к записей в день не упал?

Comments

[#ямыnginx]

100к для БД - это все равно, что человеку поднять маленький камешек.

[d'Ivan]

#ямыnginx, в день, а не вообще.

Answer 1

[WinPooh32]

clickhouse, который был специально разработан для яндекс.метрики

Comments

[fridary]

Спасибо за ответ. Я правильно понял, что clickhouse так же, как и mysql, устанавливается на unix, и точно так же могу добавлять туда данные в бд через sql? А если нужно из php подключиться, то просто на php специальную библиотеку устанавливать?
И чем может быть лучше ElasticSearch? :)

[WinPooh32]

fridary, только Linux. Да, взаимодействие с БД через диалект SQL. Слать запросы можно через дравйвер, либо вручную по http, tcp.

[WinPooh32]

И чем может быть лучше ElasticSearch? :)

Тем, что движок оптимизирован под данные, представленные временными рядами (например, логи).

Answer 2

[ky0]

ELK

Comments

[fridary]

Спасибо за ответ. Мне еще советовали clickhouse. В чем ES может иметь преимущества? Я так понимаю ES лучше подходит для текстовых данных для поиска.

Answer 3

[Sanes]

Так же верно я понимаю, что записи в бд из js скрипта достаточно делать обычными ajax запросами

Нет. Должен быть веб-сервер. И какой-то слой, который сможет вытащить данные из БД и отдать результат веб-серверу.

Comments

[fridary]

Спасибо за ответ. Не совсем понял - а как тогда можно передать данные в js, если не через ajax?

[Sanes]

JS, который на клиенте не умеет работать с базой данных напрямую.

Answer 4

[Алексей Черемисин]

Ну, кроме clickhouse еще порекомендую kafka с записью в тот же сликхоус или hbase/hadoop. Причем из кафки данные можно вытащить в любой момент времени и за любой момент времени (ну это как ретеншион настроите). Так что пишите в кафку, а агрегируйте куда бог пошлет, хоть в hbase, хоть в clickhouse, хоть в postgres.

Answer 5

[res2001]

Читал, что PostgreSQL нынче то же умеет хранить данные по колонкам, как clickhouse.

Answer 6

[Веня Бабийман]

Чтобы не положило сервер, лучше писать в файл, затем раз в пол часа или десять минут (например) экспортировать в реляционную БД (postgresql или mariadb для вашей задачи особой разницы нету).
Также предусмотреть архивные таблицы (например по месяцам или годам).
Так сделано у piwik или сейчас уже matomo называется.
К стати, почему не хотите использовать piwik?

Answer 7

[Barmunk]

еще можно посмотреть на готовые решения:
https://medevel.com/best-20-open-source-free-self-...

К примеру мы используем у себя matomo / демо