Добрый день! Имеется сервер на котором ведется сбор логов сетевого оборудования (rsyslog) и работает система управления данным оборудованием. Логи хранятся в файлах, файлы содержат данные за несколько дней.
Вопрос, как лучше всего собирать данные логи, ежесуточно, и перекладывать их в clickhouse на другом сервере при этом не вызывая высокой нагрузки на сервер с логами?
Для вашей задачи, вполне, подойдет omclickhouse. Небольшой модуль для RSyslog.
Возможностей конфигурации будет достаточно. Server, portсервера ClickHouse и timeoutдля установки нужной вам частоты отправки.
Судя вот по этой официальной доке , у Clickhouse есть возможность интеграции с rsyslog через специальный модуль omclickhouse
Сам не пробовал, про нагрузку сказать ничего не смогу, увы.