Как правильно продумать архетектуру бота?

Question

[Elvis]

Привет!
Мне необходимо написать бота для телеги, который будет парсить некоторое количество страниц и смотреть были ли изменения. Если были - сообщить это в группу где он находится.
Сам код не проблема. Не могу сообразить как правильнее сделать это?
бот работает постоянно, а страницы нужно проверять, к примеру, раз в 10 минут. sleep ставить нет смысла - бот будет заморожен. Может быть быть сделать 2 файла? один с ботом, другой с парсером. Парсер будет запускаться по крону и если найдет изменения, то передает информацию боту и он оповещает. Идея вроде не плохая, но правильно ли это и как реализовать между ботом и просто скриптом-парсером?

Comments

[Даниил Рыжов]

Если вы используете asyncio вы можете использовать

asyncio.ensure_future()
loop.call_later()

Answer 1

[Denisca Gareev]

threading? Тьфу ты, да что я несу...

Comments

[Elvis]

к сожалению не сталкивался с таким, но бегло прочитав понял так:
Я пишу обычного бота со своими командами плюс отдельную обычную функцию с парсингом сайтов.
перед запуском бота я в отдельном потоке запускаю функцию парсинга. в этой функции я после всей логики ставлю слип на 10 минут, обернув всё это в while true. так же в этой функции парсинга при нахождении изменений вызываю функцию бота для оповещения.
так? если не так, то приведите абстрактный пример, пожалуйста.

[Denisca Gareev]

Да, я думаю это не плохой вариант.

[Elvis]

Denisca Gareev, Пробую, но столкнулся с трудностями. Как я понял в отдельном потоке(где идет парсинг) нет доступа к потоку самого бота. приведу упрощенный пример:

import threading
import asyncio
from telethon.sync import TelegramClient, events
import config as cfg

bot = TelegramClient('Bot', cfg.api_id, cfg.api_hash)

@bot.on(events.NewMessage(pattern=r'^(?i)(idchat){1}$'))
async def echoidchat(event):
    # просто команда чтобы видеть что бот в принципе работает
    # я знаю что можно вытащить entity из event, но это работает если из чата пришло событие,
    # но не работает если бот просто должен отправить в чат сообщение сам
    # поэтому вытаскиваю entity из ссылки на чат
    # тут всё проходит отлично
    channel = await bot.get_entity('https://t.me/elvistest')
    await bot.send_message(channel, 'ответ')


async def parseurls():
    # а вот тут уже не работает.
    # на get_entity выдает RuntimeWarning: coroutine 'UserMethods.get_input_entity' was never awaited
    # и не возвращает entity
    while True:
        channel = await bot.get_entity('https://t.me/elvistest')
        await bot.send_message(channel, 'ответ из другого потока')
        asyncio.sleep(5)

if __name__ == '__main__':
    bot.start(bot_token=cfg.bot_token)
    my_thread_flights = threading.Thread(target=asyncio.run, args=(parseurls(),))
    my_thread_flights.start()
    bot.run_until_disconnected()

[Elvis]

Denisca Gareev, хотя выделю это в отдельный вопрос пожалуй.

Answer 2

[Mr.Robot]

Воспользуйтесь идеей замыкания, Вам не зачем расходовать ресурсы, используя многопоточность.

Answer 3

[Alexa2007]

Может быть быть сделать 2 файла?

Отличная идея, но и многопоточность прикрутить не сложно. Всё зависит от масштаба. Если это мини проект то проще всё в один файл запхнуть. А если крупный проект, то сам бот стоит разложить на несколько файлов. Так же не каждый сервер даст много вычислительных секунд, поэтому к техничесой стороне тоже стоит присмотреться. Что за тариф не переплачивать. Ну и т.д.
Попробуй реализовать любой вариант, а подводные камни по дороге вылезут. Вот тогда и напишешь если, что-то пойдет не так.

Answer 4

[Vindicar]

Ответ зависит от сложности парсинга, на самом деле.
Если у вас в парсинге большую часть времени занимает общение с сайтом, а затраты на сам парсинг минимальны, то можно обойтись без многопоточности, если использовать что-то типа aiohttp.
Оно может работать в одном рабочем цикле (реакторе) с остальным ботом, и не подвешивать его на время запроса к сайту.
Если же в парсинге значительную долю времени занимают вычисления, то тут уже нужна многопоточность, или даже многопроцессность.

Наконец, стоит использовать либо asyncio.Queue (без потоков) либо queue.Queue (с потоками), чтобы организовать передачу итогов парсинга боту. В первом случае бот может просто в цикле await'ить метод get() очереди, и по получению очередного блока данных формировать и отправлять сообщение.