Здравствуйте, возникла сложность в выборе направление написание приложения. Мне нужно парсить несколько сайтов. В них данные обновляются, примерно, каждые 5 секунд. Ссылок на каждом сайте может доходить до 100.
Для данной задачи я создал несколько классов, в котором содержатся методы загрузки и обработки данных.
Для загрузки данных мне нужно использовать связку asyncio + aiohttp. Для обработки по идее нужно использовать multiprocessing.
Я вижу несколько вариантов реализации данной задачи:
1) Использовать один asyncio loop в главном потоке, и каждый класс запустить в другом процессе.
То есть главный поток загружает данные и передает в нужный процесс.
2) Использовать один asyncio loop, а в классах для обработки создать pool процессов для обработки данных.
Вопрос состоит в том, как правильно это делается или какой вариант выбрать? Догадываюсь, что моя архитектура в корне не верна. Заранее спасибо
