Почему bs4 ( BeautifulSoup ) не видит элемент [ div class="h1" ]?

Question

[Uno di Palermo]

Здравствуйте, вот такое:

например, есть страница:
www.irk.gov.ru/events/news/detail.php?ID=19587

заголовок новости - в

<div class="h1">В своих избирательных округах проведут ближайшую неделю депутаты Законодательного Собрания </div>

Однако запуск кода:

import requests
from bs4 import BeautifulSoup
import sys, traceback 


def main():
    try: 
        r = requests.get('http://www.irk.gov.ru/events/news/detail.php?ID=19587',  'html.parser')
        soup = BeautifulSoup(r.content, 'html.parser')
        for i in soup.find_all('div', class_="h1"):
            title = i.text
            print(title) #(если  print(i) - то <div class="h1">Просмотр новости</div>)
            input()
    except Exception:
        print(traceback.format_exception(*sys.exc_info())[1])
        input("End ")

выдает какой-то "Просмотр новости", которого даже нет в исходном коде страницы

Comments

[Uno di Palermo]

Pavel Denisov, вероятность этого 99%

[Uno di Palermo]

Pavel Denisov, действительно

[Uno di Palermo]

Pavel Denisov, but.

нет, когда делаеш так: (читаеш ссылки из файла)

def main():
    f = open("C:\\Users\\Desktop\\zs.txt", "r")
    for i in f:
        try: 
            r = requests.get(i, 'html.parser')
            soup = BeautifulSoup(r.content, 'html.parser')
            for i in soup.find_all('div', class_="h1"):
                title = i.text
                print(title)
                input()
        except Exception:
            print(traceback.format_exception(*sys.exc_info())[1])
            input("End ")

выдает "просмотр новости",

а когда делаеш так: (вместо i вставляешь ссылку)

def main():
    try: 
        r = requests.get('http://www.irk.gov.ru/events/news/detail.php?ID=19531', 'html.parser')
        soup = BeautifulSoup(r.content, 'html.parser')
        for i in soup.find_all('div', class_="h1"):
            title = i.text
            print(title)
            input()
    except Exception:
        print(traceback.format_exception(*sys.exc_info())[1])
        input("End ")

то все нормально

[Uno di Palermo]

Pavel Denisov, изменил одно i на x:
print(i, x)
irk.gov.ru/events/news/detail.php?ID=19532
Просмотр новости

irk.gov.ru/events/news/detail.php?ID=19531
Просмотр новости

irk.gov.ru/events/news/detail.php?ID=19527
Просмотр новости

irk.gov.ru/events/news/detail.php?ID=19365
Просмотр новости

irk.gov.ru/events/news/detail.php?ID=19530
Просмотр новости

[Uno di Palermo]

Pavel Denisov, ok спасибо разберемся

Answer 1

[Руслан .]

Возможно что этот div скриптом наполняется в момент загрузки страницы в браузер, тогда на момент вашего обращения div еще пустой и содержит значение по-умолчанию "Просмотр новости"

Comments

[Uno di Palermo]

наверно

[Uno di Palermo]

нет, когда делаеш так: (читаеш ссылки из файла)

def main():
    f = open("C:\\Users\\Desktop\\zs.txt", "r")
    for i in f:
        try: 
            r = requests.get(i, 'html.parser')
            soup = BeautifulSoup(r.content, 'html.parser')
            for i in soup.find_all('div', class_="h1"):
                title = i.text
                print(title)
                input()
        except Exception:
            print(traceback.format_exception(*sys.exc_info())[1])
            input("End ")

выдает "просмотр новости",

а когда делаеш так: (вместо i вставляешь ссылку)

def main():
    try: 
        r = requests.get('http://www.irk.gov.ru/events/news/detail.php?ID=19531', 'html.parser')
        soup = BeautifulSoup(r.content, 'html.parser')
        for i in soup.find_all('div', class_="h1"):
            title = i.text
            print(title)
            input()
    except Exception:
        print(traceback.format_exception(*sys.exc_info())[1])
        input("End ")

то все нормально