Какую архитектуру использовать для новостного агрегатора?

Question

[0xigen]

После некоторых раздумий в голове прорисовывается следующая картина: Бот в бесконечном цикле обращается к сайтам (rss/saitmap/парсинг страницы с новостями) и получает список ссылок на новости, складывает их в базу (redis/modgoDB). Второй бот, тоже в цикле, проходит по ссылкам и парсит новости, после чего отправляет их на api сайта для последующей обработки и добавления в основную базу.
Осталось несколько вопросов: Как можно синхронизировать ботов/потоки для того, чтобы исключить дублирование новостей, как задать интервал сканирования новостного ресурса в зависимости от времени суток, какая архитектура больше подойдет для данных целей?

Answer 1

[⚡ Kotobotov ⚡]

для управления потоками, а также планированием задач удобно использовать например akka