Так можно ли использовать Zookeeper + Clickhouse на одном сервере?

Question

[Андрей Павленко]

В документации Clickhouse я часто встречаю предупреждение:

Do not run ZooKeeper on the same servers as ClickHouse. Because ZooKeeper is very sensitive for latency and ClickHouse may utilize all available system resources

[не используйте Zookeeper на том же сервере, что и Clickhouse, потому что Zookeeper очень чувствителен к задержкам].
Но я не могу понять: задержкам чего? SSD дисков? Процессора? Памяти? Я смогу вовремя увидеть эту проблему через htop/atop?
У меня довольно небольшой проект (статистика для 10 хитов в секунду, 36000 в час, думаю, увеличение возможно максимум в два раза). Запись в Clickhouse идет централизованно через агреггирование записей log и их запись через единичный insert.
Могу ли я с подобными нагрузками столкнуться с этими сложностями с latency?
Потому что мне кажется, что это вряд ли будет особой проблемой, а докупать еще отдельный сервер под хранение Zookeeper (а по-хорошему, целых три, ведь мне нужна репликация) - слишком выходит за бюджет.
Или я все равно могу столкнуться с серьезными перегрузками даже на таком объеме?
Понимаю, что вопрос кажется слишком простым, но хочу перестраховаться, т.к. на тестах я боюсь вовремя не заметить проблем.

Comments

[Василий Банников]

(а по-хорошему, целых три, ведь мне нужна репликация)

Вы репликацию на одном сервере делаете?

[Андрей Павленко]

Василий Банников, нет, разговор о том, чтобы сделать репликацию между тремя серверами, но на всех трех будет стоять ZooKeeper, и на двух - Clickhouse.

Answer 1

[Saboteur]

performance тесты.

Вы же сами видите работает у вас или нет.
Если будут начинаться проблемы - вы будете знать, что пора разносить на разные сервера, как официально рекомендуемое действие

Answer 2

[Максим Гришин]

По меньшей мере очень нежелательно. Clickhouse обожает есть процессор, а Zookeeper критичен к задержкам, т.е. если кликхаус съест всё процессорное время, зукипер начнет падать. "К задержкам" - значит обработки запросов типа keepalive итп, т.е. процессорным.

Comments

[Андрей Павленко]

Все, понял, т.е., внимательно следить за показателем процессора. Спасибо!

Answer 3

[Slach]

На самом деле Zookeeper чувствителен к задержкам диска

если есть достаточно CPU и можно разнести снапшоты и логи Zookeeper на отдельный ssd диск не связанный с clickhouse, то вполне себе будет работать, просто обычно таких

еще можно попробовать появившийся в последних версиях clickhouse-keeper
но он очень экспериментальный пока
https://clickhouse.com/docs/en/operations/clickhou...
но может работать как часть процесса clickhouse-server