Как вытащить данные с сайта с помощью питона?

Question

[san_m_m]

Добрый день!

Есть карточка компания по ссылке oto-register.autoins.ru/oto/#oto=101

С помощью следующего кода я получил данные сайта и данные некоторых строк (например, ОГРН).

import requests
import re


otoids = [101]


for otoid in otoids:

    s = requests.Session()

    r = s.get('http://oto-register.autoins.ru/oto/index.xhtml')
    cdata = re.search(r'id="j_id1:javax.faces.ViewState:0" value="(.+?)"', r.text).group(1).strip()

    data = {
        'javax.faces.partial.ajax': 'true',
        'javax.faces.source': 'mainForm:remoteCommandSetupOtoId_action',
        'javax.faces.partial.execute': 'mainForm:remoteCommandSetupOtoId_action',
        'javax.faces.partial.render': 'mainForm:contentTabsPanel mainForm:otoPanel',
        'mainForm:remoteCommandSetupOtoId_action': 'mainForm:remoteCommandSetupOtoId_action',
        'otoId': otoid,
        'mainForm': 'mainForm',
        'mainForm:j_idt8': otoid,
        'mainForm:j_idt9': '',
        'mainForm:j_idt10': '',
        'mainForm:j_idt11': '',
        'javax.faces.ViewState': cdata,
    }

    headers = {
        'X-Requested-With': 'XMLHttpRequest',
        'Faces-Request': 'partial/ajax',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
    }


    r = s.post('http://oto-register.autoins.ru/oto/index.xhtml', data=data, headers=headers)
    
    ogrn = re.search(r'ОГРН/ОГРНИП</div>\n.+<p>(.+?)</p>', r.text)
    if ogrn != None:
        ogrn = ogrn.group(1)
    else:
        ogrn = 'None'

Подскажите как лучше вытащить данные из графы "АККРЕДИТОВАННЫЕ КАТЕГОРИИ ТС" и из Таблицы, расположенной в нижней части страницы.

Answer 1

[Wispik]

Используй BeautifulSoup

Comments

[san_m_m]

Дописал

soup = BeautifulSoup(r.text, 'html.parser')
data = soup.find_all(class_ = 'item with-i')

Но он возвращает пустые списки

[san_m_m]

Поможете?

[Wispik]

san_m_m, там ответ в xml приходит, а не в html
выполни:
pip install lxml
и замени парсер:
soup = BeautifulSoup(r.text, 'lxml')

[san_m_m]

Wispik, Спасибо огромное!