@reech

В какой БД хранить логи посещений?

Всем привет! Мне нужно хранить логи посещений пользователей сайта. На данный момент записываю всё в таблицу MySQL. Раз в 5 мин. пересчитывается статистика. Рано или поздно записей станет много, 100 млн, 500 млн. записей.

Как эту информацию грамотнее хранить? В какой БД, что бы так же было удобно пересчитывать показатели?

Каждые 10 млн. записей занимают 1GB места.
  • Вопрос задан
  • 3142 просмотра
Пригласить эксперта
Ответы на вопрос 5
Можно воспользоваться связкой Logstash + ElasticSearch + Kibana.
Logstash - принимает и парсит логи.
ElasticSearch - хранилище.
Kibana - визуализация данных.

https://www.elastic.co

ps. имею опыт работы с такой связкой. Сейчас в хранилище порядка 1,5 миллиардов событий на 4 серверах. Работает без проблем.
Ответ написан
Arris
@Arris
Сапиенсы учатся, играя.
Первый вопрос: За какой период их надо хранить? Вечно? А смысл в этом есть?

Второй вопрос: сколько УЖЕ записей посетителей и за какой период. "Рано или поздно" - это может быть и через неделю, и через год, и никогда.

Если не ответить на эти вопросы заранее - может получиться так, что ты решаешь задачу, которую решать не нужно, потому что имеющихся средств (mysql или даже хранение логов в CSV) достаточно.
Ответ написан
@beduin01
Храните в MySQL и не парьтесь
Ответ написан
Комментировать
@inkvizitor68sl
Linux-сисадмин с 8 летним стажем.
Если вам действительно нужно решать эту задачу - то монга+шардирование (про объём).
Ответ написан
BuriK666
@BuriK666
Компьютерный псих
да в любой, можете разбить на несколько таблиц (например по месяцам).
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы