@miksan

Как спарсить таблицу с помощью BP?

Нужно забрать данные таблицы со сайта (https://mintrans.novreg.ru/perm/list.html).

Написал код:

import requests
from bs4 import BeautifulSoup  


links = []
for i in range(4):
    r = requests.get(f'https://mintrans.novreg.ru/perm/list%7Bpage-{i}%7D.html')
    soup = BeautifulSoup(r.text, 'html.parser')
    data = soup.find('table')
    links.append(data)

Но он мне выдает 4 одинаковых списка... А если на сайте вручную поменять номера страниц, то данные меняются.
Как решить Данную проблему?
  • Вопрос задан
  • 67 просмотров
Решения вопроса 1
SoreMix
@SoreMix
yellow
Не хватает куков, которые определяют, что на странице только 10 результатов (или больше), соответственно, если их нет - нет и страниц

Сделал так, все работает

import requests
from bs4 import BeautifulSoup  

s = requests.Session()

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}

s.get('https://mintrans.novreg.ru/perm/list.html', headers=headers, cookies={'abc': 'all', 'count': '10'})

links = []
for i in range(1, 4):
    r = s.get(f'https://mintrans.novreg.ru/perm/list%7Bpage-{i}%7D.html', headers=headers, cookies={'abc': 'all', 'count': '10'})
    soup = BeautifulSoup(r.text, 'html.parser')
    data = soup.find('table')
    links.append(data)
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
от 80 000 до 200 000 ₽
AIR Production Москва
от 170 000 до 200 000 ₽
от 2 500 до 4 000 $
25 нояб. 2020, в 19:13
1000 руб./в час
25 нояб. 2020, в 18:34
100000 руб./за проект
25 нояб. 2020, в 18:15
10000 руб./за проект