В какую бд лучше всего записывать много логов сайта?
У меня появилась задача написать свою систему сбора статистики посещения сайтов, что-то вроде Яндекс метрики и Google Analytics.
В пуле будет много сайтов, суммарная посещалка думаю до 100к пользователей в день.
Схема будет схожая: выдается js скрипт, который вешается на сайт, он собирает нужные данные и отправляет запись на сервер. В таблицах будет примерно по 50 параметров о посетителе (IP, User Agent, параметры браузера...)
Возник вопрос: как целесообразнее хранить данные? Какую базу данных выбрать? Mysql, Postgresql, Mongodb, Redis или другу?
Статистика системы будет выдавать не только само значение посещения, но и её можно будет группировать по разным параметрам (примерно как в Яндекс метрике).
Так же верно я понимаю, что записи в бд из js скрипта достаточно делать обычными ajax запросами, или уже придумано более эффективная схема, чтобы сервер по 100к записей в день не упал?
Чтобы не положило сервер, лучше писать в файл, затем раз в пол часа или десять минут (например) экспортировать в реляционную БД (postgresql или mariadb для вашей задачи особой разницы нету).
Также предусмотреть архивные таблицы (например по месяцам или годам).
Так сделано у piwik или сейчас уже matomo называется.
К стати, почему не хотите использовать piwik?
