sheich,
тогда консьюмером можно читать по одному сообщению и писать во временный буфер (СУБД, k/v).
Когда сообщение получено и закинуто в буфер - ACK. И по достижению нужного размера (проверяя буфер) что-то делать или просто отправлять в другую очередь.
gidwin,
1. мониторинг нужен. Хоть минимальный. Munin или что-то подобное уже будет неплохо.
2. сколько памяти всего на борту и сколько занимает Redis в обычном режиме?
mayton2019, из изображения получается вектор и все операции поиска делаются по таким же, как и этот.
Полагаю, что речь об этой модели: https://openai.com/index/clip/
А так, может, сеть "моргает" порой.