Как правильно работать с ClickHouse в nodeJs?

Question

[jenya7771]

Здравствуйте, есть сайт, на котором мне нужно сохранять все переходы на сайте, и так как это достаточно много данных по рекомендациям из сети я решил использовать ClickHouse. Из начального изучения этой БД я узнал что данные нужна вставлять пачками. И возник вопрос, как формировать и хранить эту пачку данных, чтобы после например один раз в минуту записывать в ClickHouse, и с какой библиотекой для nodeJs лучше работать?
Думал можно синхронно писать все переходы в файл, после сохранять в ClickHouse и удалять файл, этот способом годится, и как может себя проявить если на сайте будет миллион переходов в сутки?
Спасибо.

Comments

[jasonOk]

если на сайте будет миллион переходов в сутки

Сейчас сколько "переходов"?

[jenya7771]

jasonOk, Сейчас около 6000. Можно сказать тестовый режим

Answer 1

[Andrey Tsvetkov]

Пишите переходы в какое-нибудь временное хранилище, файлик, редис, мемкеш, память. Раз в N секунд перекладывайте данные из временного хранилища в кликхаус. С вашими нагрузками(1млн в сутки) можно использовать абсолютно любое временное хранилище, так как это вообще не нагрузка

Comments

[jenya7771]

А что будет лучшим вариантом, с точки зрения нагрузки?

[jenya7771]

Например если будет 100 миллионов?

[Andrey Tsvetkov]

jenya7771, 100 миллионов тоже не нагрузка, особенно если она равномерно размазана по суткам.

Я бы написал небольшой скриптец на Lua, который подключается к Nginx и который тупо кладёт данные в Redis. И ещё один скриптец( go или nodejs) который раз в N секунд перекладывает данные из Redis в Clickhouse

[jenya7771]

Andrey Tsvetkov, Подскажите как писать в редис, это ключь -> значение? Или писать всё в под одним ключём, сначала достать (JSON например), преобразовать в объект, добавить данные, преобразовать в JSON и сохранить?

[Andrey Tsvetkov]

jenya7771, так извращаться не стоит. У redis есть более подходящие структуры хранения данных, например Sets. Данные каждого запроса вы вставляете методом lpush в ключ, название которого состоит из текущего времени, но только без секунд, то есть что-то типа 2018-11-28T08-50. При перкладывании данных в кликхаус вы ищете все ключи, за исключением ключа текущей минуты, достаёте данные из ключа, вставляете в кликхаус и после удаляете ключ из редиса

[jenya7771]

Andrey Tsvetkov, Понял, спасибо, про метод lpush в redis не знал.
А если я буду писать в редис прямо из nodeJs, при каждом запросе к странице, это нормально будет?

[Andrey Tsvetkov]

jenya7771, вполне.

[jenya7771]

Andrey Tsvetkov, Спасибо!

[fridary]

Andrey Tsvetkov, подскажите, как лучше из веб-страницы обращаться на сервер, где будет сохранение в Redis? Через классический ajax post запрос?

[jenya7771]

fridary, Других вариантов я не знаю, просто через http запрос, с токеном для авторизации если нужно, или через сессию.

[Andrey Tsvetkov]

fridary, зависит от задачи, хоть аякс, хоть однопиксельные картинки

[alexey_pirojok]

Можно обойтись без редиса, у кликхауса есть буферные таблицы, при достижении какого-то лимита, например 10000 строк, все записи из буферной перекидываются пачкой в основную. Буферная находится в оперативе, суть такая же как и с редисом, но зато не надо использовать лишнюю технологию, всё можно сделать в рамках кликхауса

Answer 2

[bytdnel]

Есть библиотека, которая из коробки предоставляет кэширование запросов в редис или память ноды и возвращает событие, когда пачка запросов зарезолвится. Думаю, что твою проблему это решит

Comments

[jenya7771]

Спасибо, нудно будет глянуть