Как корректно использовать селектор при парсинге сайта?

Question

[arget1k3]

Только познакомился с парсингом. Просмотрел видеоурок и реализовал такой код:

import requests
from bs4 import BeautifulSoup as BS

r = requests.get('https://www.igromania.ru/games/')
html = BS(r.content, 'html.parser')


for el in html.select('.CommonBasePage_page__mlC3i > .CommonBasePage_page_content__o0c0C'): #.d-flex app main-chat > .main dialog custom-scrollbar > .chat-request flex-row-reverse gap-10 > .chat-infor align-flex-start > 
    title = el.select('.GameCard_content__5G7vA > a')
    for i in title:
        print(i.text)

Теперь мне надо реализовать что-то похожее для другого сайта ссылка на сайт

Вот что я написал:

import requests
from bs4 import BeautifulSoup as BS


r = requests.get('https://talkai.info/ru/chat/')
html = BS(r.content, 'html.parser')


for el in html.select('.sectionChat > .sectionChatDialogue'): #.d-flex app main-chat > .main dialog custom-scrollbar > .chat-request flex-row-reverse gap-10 > .chat-infor align-flex-start > 
    title = el.select('.messageContain copy-text')
    for i in title:
        print(i.text)

Проблема в том, что не заходит программа в цикл и как я понял проблема с селектором.
Может кто подсказать как правильно использовать селекторы?

Вот фото кода сайта

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.4

Answer 1

[Vindicar]

Ну если не ограничивать себя видеоуроками, а узнать, как именно работает Web, то можно догадаться до первого шага по отладке такой ситуации:
Сохрани ответ сайта в файл и посмотри, что тебе пришло на самом деле.

Во-первых, сайт может отдавать разные страницы боту и браузеру, особенно если запросы от них не идентичны. Более того, владелец сайта нередко заинтересован в том, чтобы обнаруживать ботов и слать им не запрашиваемую страницу, а что-то другое - чтоб неповадно парсить было.

Во-вторых, современные сайты - это не статические странички аля 1991й год. Они зачастую битком набиты JS-скриптами, которые исполняются в среде браузера. Поэтому нередко сайт отдаёт страницу-заглушку, на которую средствами скрипта уже подгружается контент. BeautifulSoup не исполняет JS, это не его задача, а потому ты увидишь только заглушку, и больше ничего.

Comments

[arget1k3]

Посмотрел что приходит в переменную, среди генераторов и объектов под "tagStack:
[!DOCTYPE html", нашел вот такой текст:

'\n\n\n\n\n\n(мой ip) 29.09.2023 08:16:21\n\n\n\n\n\n\nSorry, your request has been denied.\n\n\n\n\n'

Это означает что этот сайт невозможно спарсить? Или из-за чего он может отклонять мой запрос?

[Vindicar]

arget1k3, в ответе это есть.
Владелец сайта может быть заинтересован в том, чтобы отклонять запросы от ботов - в конце концов, боты нагрузку создают, а рекламу не читают.
Поэтому сайт может отклонить твой запрос, если он недостаточно похож на запрос от обычного браузера - нет правильных заголовков, не передаются cookies, или ещё какая хитрая эвристика.

Вообще следует иметь ввиду, что удалённый сайт вообще не обязан отдавать тот контент, который ты от него ожидаешь. Он может начать банить ботов, он может начать блокировать запросы по GeoIP, его могут взломать и дефейснуть, у него может поменяться структура страницы, т.е. вёрстка... так что код парсера придётся обновлять премя от времени.

[arget1k3]

Vindicar, спасибо)

Answer 2

[Сергей Соловьев]

Вместо .messageContain copy-text напиши .messageContain .copy-text (точка у copy-text).

Если есть несколько классов, то все они должны писаться через точку - точка означает css класс. Без точки - html тэг

Answer 3

[soremix]

1. el.select('.messageContain.copy-text')
2. А авторизация и некий антиспам продуманы уже я надеюсь? requests понятия не имеет что за диалог у вас идет в браузере. Не факт что вообще вернется страница в таком виде в каком должна быть, вдруг диалоги XHR подгружаются

Плюс, важная вещь - научиться смотреть что пришло в ответ на запрос. То что в браузере - пусть будет в браузере, это не ваша страница, ваша - содержимое r.content. Берем это содержимое, льем в файл и изучаем