@ArtemMik
Python

Как правильно асинхронно парсить телеграмм канал?

У меня есть асинхронная функция, которая подключается к сессии телеграмма, вступает в указанные группы и записывает историю сообщения этих групп и дальше в режиме онлайн парсит сообщения с группы тг, я столкнулся с проблемой написания асинхронной функции для этого парсера

Код функции подключения сессии:
import logging  # стандартная библиотека для логирования
import parser_functions  # библиотека этого парсера
from telethon import TelegramClient, events, sync, connection  # pip3 install telethon
from telethon.tl.functions.channels import JoinChannelRequest
from config import api_id, api_hash  # получение айди и хэша нашего приложения из файла config.py
from loguru import logger
import asyncio
from telethon.errors.rpcerrorlist import FloodWaitError


# настройка логгера
logging.basicConfig(
    level=logging.INFO,
    filename='parser_log.log',
    filemode='w',
    format="%(asctime)s %(levelname)s %(message)s"
)


url = ["XXXX",]
flag = True


async def main():
    async with TelegramClient('new', api_id, api_hash) as client:
        for channel in url:
            try:
                await client(JoinChannelRequest(channel))
                err = parser_functions.parse(client, channel)  # обработка сообщений
            except FloodWaitError as fwe:
                print(f'Waiting for {fwe}')
                await asyncio.sleep(delay=fwe.seconds)
        await client.run_until_disconnected()


if __name__ == "__main__":
    asyncio.run(main())


Код функций забора id каналов и запись сообщений в txt файлы:
from telethon.tl.types import MessageEntityTextUrl
from glob import glob
from dateutil.relativedelta import relativedelta  # pip3 install python-dateutil
import datetime
import os

import database
from database import *


def get_channel_id(client, link):  # получение ID канала
    m = client.get_messages(link, limit=1)
    channel_id = m[0].peer_id.channel_id
    return str(channel_id)


def clearify_text(msg):  # очищение текста от символов гиперссылки
    text = msg.message
    text_splitted = text.split()
    text_listed = [word for word in text_splitted if word != ' ']
    return " ".join(text_listed)


def get_message_content(client, msg, url, channel_name, directory_name):  # получение содержимого сообщения
    msg_date = str(msg.date)  # дата отправки сообщения
    msg_url = url + '/' + str(msg.id)  # каст ссылки на сообщение
    if msg.message:  # если сообщение содержит текст, запись этого текста в текстовый файл в папке сообщения
        text = clearify_text(msg=msg)
        file = open(f"{channel_name}/{directory_name}/{directory_name}.txt", "w")
        print(f"{channel_name}/{directory_name}/{directory_name}")
        file.write(text)
        file.close()
        database.db_chats(name_chat=channel_name, text=text)
    if msg.media:  # если сообщение содержит медиа (фото, видео, документы, файлы), загрузка медиа в папку сообщения
        client.download_media(message=msg, file=f"{channel_name}/{directory_name}")
        database.db_chats_photo(photo=msg)
    if msg.entities:  # запись гиперссылок из текста сообщения в файл сообщения
        urls = [ent.url for ent in msg.entities if isinstance(ent, MessageEntityTextUrl)]
        file = open(f"{channel_name}/{directory_name}/{directory_name}.txt", mode='a+')
        for u in urls:
            file.write('\n' + u)
        file.close()


def find_last_parsed_date(path):  # определение даты, с которой начинать парсинг
    paths = glob(f"{path}/*/*meta.txt", recursive=True)  # поиск существующих метаданных по уже собранным сообщениям
    oldest = datetime.datetime.strptime("1970-01-01 00:00:00+00:00", "%Y-%m-%d %H:%M:%S%z")
    temp = oldest
    for p in paths:  # поиск даты отправки последнего сообщения
        with open(p, 'r') as file:
            date = datetime.datetime.strptime(file.readlines()[-1], "%Y-%m-%d %H:%M:%S%z")
            if date > oldest:
                oldest = date
    if temp == oldest:
        oldest = datetime.datetime.now() - relativedelta(months=3)  # если сообщений нет, офсет устанавливается на
                                                                    # три месяца от текущей даты
    return oldest


def parse(client, url):  # сбор сообщений из канала
    err = []  # переменная возможной ошибки
    channel_id = get_channel_id(client, url)  # получение ID канала
    os.makedirs(channel_id, exist_ok=True)  # создание папки канала в текущей директории
    oldest = find_last_parsed_date(channel_id)  # получение даты, с которой начинать парсинг
    for message in client.iter_messages(url, reverse=True, offset_date=oldest):  # итератор по сообщениям (урл - ссылка
                                                                                 # на канал, реверс - итерация от старых
                                                                                 # к новым, офсет - дата с которой
                                                                                 # начинать парсинг
        try:
            directory_name = str(message.id)  # получение ID сообщения
            os.makedirs(f"{channel_id}/{directory_name}", exist_ok=True)  # создание папки сообщения
            get_message_content(client, message, url, channel_id, directory_name)  # обработка сообщения

        except Exception as passing:  # обработка ошибок
            err.append(passing)
            continue
    return err  # возврат возможных ошибок


Код ошибки:
Traceback (most recent call last):
  File "F:\pythonProject\parcer2.0\parcer.py", line 37, in <module>
    asyncio.run(main())
  File "C:\Users\Артём\AppData\Local\Programs\Python\Python310\lib\asyncio\runners.py", line 44, in run
    return loop.run_until_complete(main)
  File "C:\Users\Артём\AppData\Local\Programs\Python\Python310\lib\asyncio\base_events.py", line 646, in run_until_complete
    return future.result()
  File "F:\pythonProject\parcer2.0\parcer.py", line 29, in main
    err = parser_functions.parse(client, channel)  # обработка сообщений
  File "F:\pythonProject\parcer2.0\parser_functions.py", line 62, in parse
    channel_id = get_channel_id(client, url)  # получение ID канала
  File "F:\pythonProject\parcer2.0\parser_functions.py", line 13, in get_channel_id
    channel_id = m[0].peer_id.channel_id
TypeError: 'coroutine' object is not subscriptable
sys:1: RuntimeWarning: coroutine 'MessageMethods.get_messages' was never awaited
  • Вопрос задан
  • 209 просмотров
Пригласить эксперта
Ответы на вопрос 1
@alekssamos
Программист любитель
async def get_channel_id(client, link):  # получение ID канала
    m = await client.get_messages(link, limit=1)
    channel_id = m[0].peer_id.channel_id
    return str(channel_id)
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы