Как спарсить таблицу с помощью BP?

Question

[san_m_m]

Нужно забрать данные таблицы со сайта (https://mintrans.novreg.ru/perm/list.html).

Написал код:

import requests
from bs4 import BeautifulSoup  


links = []
for i in range(4):
    r = requests.get(f'https://mintrans.novreg.ru/perm/list%7Bpage-{i}%7D.html')
    soup = BeautifulSoup(r.text, 'html.parser')
    data = soup.find('table')
    links.append(data)

Но он мне выдает 4 одинаковых списка... А если на сайте вручную поменять номера страниц, то данные меняются.
Как решить Данную проблему?

Comments

[Алан Гибизов]

См.п.3.8

[san_m_m]

Алан Гибизов, Спасибо, что указали на этот момент. На форуме я новичок, поэтому не разобрался во всех нюансах.
Исправил.

[Алан Гибизов]

miksan, тогда почитайте правила в общем, не только этот пункт.
Тут не принято писать «я новичок, памагитиии». Лирику не надо писать.

Тут надо по делу:
Проблема такая-то, я делаю так-то, жду такое-то, а получаю вот что. Что я делаю не так?

[san_m_m]

Алан Гибизов, Хорошо

Answer 1

[soremix]

Не хватает куков, которые определяют, что на странице только 10 результатов (или больше), соответственно, если их нет - нет и страниц

Сделал так, все работает

import requests
from bs4 import BeautifulSoup  

s = requests.Session()

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}

s.get('https://mintrans.novreg.ru/perm/list.html', headers=headers, cookies={'abc': 'all', 'count': '10'})

links = []
for i in range(1, 4):
    r = s.get(f'https://mintrans.novreg.ru/perm/list%7Bpage-{i}%7D.html', headers=headers, cookies={'abc': 'all', 'count': '10'})
    soup = BeautifulSoup(r.text, 'html.parser')
    data = soup.find('table')
    links.append(data)

Comments

[san_m_m]

Спасибо огромное!

[san_m_m]

SoreMix Извиняюсь, но этот код взял информацию 3 раза с одной и той же страницы. Не могли бы вы посоветовать, что делать?

[soremix]

miksan, именно мой, 1:1? У меня разные данные получаются

[san_m_m]

SoreMix, а это у меня в дальнейшем ошибка была. Спасибо, еще раз! Хороших Вам выходных