Как организовать логирование опроса большого числа unit-устройств?

Question

[Иван Мельников]

Вопрос по архитектуре логирования.
Имеется, скажем, 1000 устройств (модемы, например).
Каждую минуту каждое устройство опрашивается и параметры, возвращенные устройством сохраняются для а) истории и б) для быстрого интерактивного построения графиков, аналитических отчетов, статистических исследований и пр.
Вопрос в том, как сохранять.
Пока вижу так.
Сперва логи пишутся в файл. На каждый день отдельный файл.
Затем логи переносятся в какую-то колоночную СУБД, скажем, в 00:00 - весь файл за раз.
Вопрос 1: Насколько годна такая архитектура? Что можно улучшить?
Вопрос 2: Какая СУБД лучше всего подойдет для этих целей?

Comments

[neol]

А чем вас не устраивают все существующие системы мониторинга?

Answer 1

[Рональд Макдональд]

Вопрос 1: Насколько годна такая архитектура? Что можно улучшить?

Прекрасная архитектура, так это обычно и делается, только скидывайте почаще, зато поменьше.

Вопрос 2: Какая СУБД лучше всего подойдет для этих целей?

С такими объёмами MySQL за глаза.

Comments

[Иван Мельников]

А если масштабы увеличатся в 100-1000 раз, то какая СУБД лучше справится?
ClickHouse, Elasticsearch, Redis?

[Рональд Макдональд]

Иван Мельников, там же текст, страшного-то чего. MSSQL тогда, но это оверхед.
MySQL хватит.
Источник: личный опыт в такой же ситуации.

[Иван Мельников]

Рональд Макдональд, в логах нет текста. В каждой записи порядка 10 числовых параметров, то есть 10 полей. Важно очень быстро строить графики и обрабатывать статистику по данным из это таблицы. Насколько я понимаю, для этих целей и нужны колоночные СУБД -- очень быстро читать временные ряды.

[Рональд Макдональд]

Иван Мельников, я настырный. PostgreSQL попробуйте, там тоже что-то для ваших целей было.

[Иван Мельников]

Рональд Макдональд, спасибо!

[Илья]

Иван Мельников, в sql server есть возможность сделать колоночную таблицу. В postgres есть плагин timescaledb для временных рядов. Подумайте еще о том, как вы будете буферизировать данные до сохранения. Возможно вам надо писать в какую-то очередь, а из очереди асинхронно сохранять. В любом случае вам надо оптимизировать своё хранилище под вставку. И придумать как вы миллион устройств будете одновременно опрашивать, чтобы время не съезжало.

[Иван Мельников]

чтобы время не съезжало

Это как?

Answer 2

[Ерлан Ибраев]

Для логирования и мониторинга есть решение EKL. Можете попробовать его.
Так же вместо файлов, можно попробовать kafka.