Программа должна парсить товары OZON и отсылать в телеграмм бота. Почему этого не происходит?

Question

[1_Reload_99]

from aiogram import types, executor, Dispatcher, Bot
from bs4 import BeautifulSoup
import requests


bot = Bot('5703223554:AAFPcIBNJv_Xr_eJC1nDepG0lZKW6z1Zk1U')
dp = Dispatcher(bot)

@dp.message_handler(commands=['start'])
async def start(massage: types.message):
    await bot.send_message(massage.chat.id, 'Введите название товара с OZON')


@dp.message_handler(content_types=['text'])
async def parser(message: types.message):
    url = "https://www.ozon.ru/category/videokarty-15721/?category_was_predicted=true&deny_category_prediction=true&from_global=true&text=" + message.text
    request = requests.get(url)
    soup = BeautifulSoup(request.text, "html.parser")

    all_links = soup.find_all("a", class_="tile-hover-target")
    for link in all_links:
        url = "https://www.ozon.ru/" + link["href"]
        request = requests.get(url)
        soup = BeautifulSoup(request.text, "html.parser")

        name = soup.find("h1", class_="on1")
        price = name.find("a").text
        name.find("a").extract()
        name = name.text

        img = soup.find("div", class_ = "kt9")
        img = img.findChildren("img")[0]
        img = "https://cdn1.ozone.ru/s3/multimedia-n/wc50/6367968875.jpg"

        await bot.send_photo(message.chat.id, img, caption= name + price + f"</i>\n<a href='{url}'>Ссылка на сайт</a>", parse_mode="html")




executor.start_polling(dp)

Парсер должен парсить видеокарты на OZON и отсылать в бота. Парсер ни чего не отсылает хотя ошибок нет. Помогите пожалуйста решить проблему.

Comments

[Виктор Голованенко]

Может быть, список all_links пустой, из-за чего не выполняется цикл for. Проверьте это. Также не лишним будет посмотреть, какой документ возвращается в HTTP-ответе, изучить его структуру и содержимое.

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.6

Answer 1

[PavelMos]

Если парсер ничего не находит - это не ошибка.
Смотреть надо, правильно ли он берёт линки и правильно ли разбирает потом страницы по линкам.
UPD а перед этим проверить, что получает bs - print (soup.contents) или записать в файл (str(soup)) . Тут он не получает полного хтмла страницы.

Answer 2

[Александр Нестеров]

Учитесь отладке. Например - отправка сообщений идет внутри итерации по списку ссылок, получаемых динамически:

for link in all_links:
    ...
    await bot.send_photo(...)

Проверяйте, что находится в нем, какой html получает суп и т.д. - я более чем уверен, что маркеты уровня озона как-то не очень хотят, чтобы их парсили настолько тупо (без заголовков, юзерагента и прочего).
(Плюс, как уже заметили выше - проблема может быть в неправильном обращении к элементам)

Answer 3

[Ян]

Автор, а подскажи, зачем ты пользуешься асинхронным фреймворком, но самые тяжелые io выполняешь синхронно?
Потому что только на нем умеешь писать бота?