Предполагаю что RabbitMQ для этого не годиться.
www.rabbitmq.com/memory-use.html тут немного о том, как он использует память — большинство времени хранит в оперативке, а если доходит до установленного лимита, начинает свопить. Думаю что постоянный своп очень дурно скажется на «молниеносности», которую обеспечивает RabbitMQ.
Вообще, если б меня попросили подумать над такой архитектурой — то я б наверное стал думать в направлении объединённых серверов: качалка + парсилка с централизованным хранением распарсенных данных и выдачи заданий с баллансировкой нагрузки через тот же RabbitMQ. В итоге получилась бы архитектура примерно такая: 1 управляющий сервер + DB и N независимых заменяемых серверов, которые качают, парсят и сохраняют результат(если смотреть на amazon aws, то там под них можно spot'ы закупать дешёвые)
П.С. поздравляю с разбаниванием.