Кое-что прояснилось.
Проблема с 1024ю открытыми файлами решилась и теперь не актуальна, но вопрос по утилизации памяти остается открытым.
Я нашел что в реббите больше всего расходуется память на
Binaries
Memory used by shared binary data in the Erlang VM. In-memory message bodies show up here.
Все решилось полным обновлением RabbitaMQ и, что важно, Erlang'a на последнюю версию.
Всем спасибо.