Как спарсить сайт с помощью bs?

Question

[san_m_m]

Добрый день!

Нужно спарсить с этого сайта (oto-register.autoins.ru/oto) название юридических лиц и информацию из карточек (ОГРН, статус и прочее)...
Была идея сгенерировать список ссылок и оттуда вытаскивать информацию, но сделав отдельно одну страницу с помощью следующего кода

import requests
from bs4 import BeautifulSoup 
import pandas as pd

url = 'http://oto-register.autoins.ru/oto/#oto=11125'
r = requests.get(url)
soup = BeautifulSoup(r_.text, 'html.parser')

не получил данные из карточки, а получил данные таблицы...

Подскажите в каком направлении двигаться дальше.

Answer 1

[GlamorousCar]

у тебя там опечатка
soup = BeautifulSoup(r.text, 'html.parser')
К примеру так
a = soup.select("tr")
Будет список из строк таблицы (<tr>... <tr>)
а дальше функцию написать , которая обрабатывает и записывает куда надо

Comments

[san_m_m]

Добрый вечер!
Да, опечатка была, но из-за того, что сокращал наименования для сайта из рабочего кода.

Но так все равно я получаю информацию не из карточки oto-register.autoins.ru/oto/#oto=11125, а с вот этой страницы oto-register.autoins.ru/oto

[GlamorousCar]

miksan, понял, тогда я вижу один выход - selenium

посмотри это

https://proglib.io/p/web-scraping

[san_m_m]

GlamorousCar, а post-запросы не выход?