Правильная ли архитектура приложения?

Question

[xiiicool]

Добрый день, нуждаюсь в совете, дорабатываю проект биллинга
Приходит cdr файл -> обрабатывает nest js микросервис записывает в базу и отправляет в очередь в kafka
Микросервис nest js в 4 инстанса слушает кафка топик, получает задание на распарс файл и отправляет данные в kafka на склейку по длительности, по маршрутам или сразу в биллинг микросервис
Используется xa транзакция для атомарности данных, но есть проблема частых блокировок таблиц
Микросервисы склейки так же получают задания из kafka и отправляют результаты в базу
Подходит ли mysql таблица для такого сервиса и clickhouse для аналитики данных?

Comments

[d'Ivan]

Используется xa транзакция для атомарности данных, но есть проблема частых блокировок таблиц

А здесь подробнее

[xiiicool]

Everything_is_not_so_bad, каждый инстанс записывает в базу данные пачками по 500 штук, но бывают ошибки Lock wait timeout exceeded; try restarting transaction

[d'Ivan]

xiiicool,
Когда происходят блокировки, проверь что выводит
SHOW ENGINE INNODB STATUS
Какова версия MySQL?

[d'Ivan]

https://dev.mysql.com/doc/refman/8.0/en/innodb-loc...

[xiiicool]

Everything_is_not_so_bad, 8 версия, как будут, гляну