Как получить полный html код страницы с помощью requests.get()?

Question

[Михаил Лебединский]

Пишу парсер на Python в учебных целях, для получения всех настольных игр с сайта Юла. Но функция возвращает не полный html код, а код содержащий только первые 60 объявлений.

URL_TEMPLATE = "https://youla.ru/novosibirsk/hobbi-razvlecheniya/nastolnye-igry?attributes[sort_field]=date_published"
r = requests.get(URL_TEMPLATE)
return r.text

Answer 1

[Сергей Карбивничий]

Откройте инструменты разработчика и полистайте страницу вниз. Обратите внимание на url и параметр page:

Comments

[Сергей Ильин]

не могли бы показать полный скриншот или сделать похожий?
возникла проблема с парсингом страниц вида https://www.vfbank.ru/fizicheskim-licam/monety/pam...

[Сергей Карбивничий]

sunsexsurf, Передайте в заголовке следующее:

'BX-ACTION-TYPE':'get_dynamic',
'BX-CACHE-MODE':'HTMLCACHE',

на выходе получите что-то похожее на json. Эти данные я прогнал через online сервисы, они определили что это json, только с кучей ошибок. Я немного схитрил, и вырезал нужные мне данные и удалил из них не нужные символы.

[Сергей Карбивничий]

sunsexsurf, Вот так можно получить список монет с их id(обязательно передавайте заголовки!):

import requests
from bs4 import BeautifulSoup

headers = {'user-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:72.0) Gecko/20100101 Firefox/72.0',
			'BX-ACTION-TYPE':'get_dynamic',
			'BX-CACHE-MODE':'HTMLCACHE',
}

url = 'https://www.vfbank.ru/fizicheskim-licam/monety/pamyatnye-monety/'

def parsing(html):
	start = html.find('bxdynamic_moneti_inner')
	end = html.find("'HASH':'844584f9f4f7',")

	data = html[start:end].replace('\\n','').replace('\\','')

	soup = BeautifulSoup(data,"html.parser")
	coins = soup.find_all('div',class_='col col--lg-6')
	for coin in coins:
		title = coin.find('a').text.strip()
		_id = coin.find('a').get('data-id')
		print(title,_id)

response = requests.get(url,headers=headers)
parsing(response.text)

[Сергей Карбивничий]

sunsexsurf, Теперь, зная id монеты, сможем узнать всю информацию о ней, просто передав get-запрос по адресу

https://www.vfbank.ru/local/ajax/moneta.php?ELEMENT_ID=

подставив id монеты:

import requests
from bs4 import BeautifulSoup

headers = {'user-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:72.0) Gecko/20100101 Firefox/72.0',
}

url = 'https://www.vfbank.ru/local/ajax/moneta.php?ELEMENT_ID='

def parsing(_id):
	response = requests.get(url+_id,headers=headers)
	soup = BeautifulSoup(response.text,"html.parser")

	title = soup.find('h3').text.strip()
	full_content = soup.find('div',class_='coin-content__info coin-content-info coin-content-info--b-offset')
	contents = full_content.find_all('div',class_='coin-content-info__item coin-content-info__item--b-offset')
	print(title+'\n')
	for content in contents:
		_key = content.find('span',class_='coin-content-info__key').text.strip()
		val = content.find('span',class_='coin-content-info__val').text.strip()
		print(_key+' = '+ val)

parsing('370') # id монеты

[Сергей Карбивничий]

sunsexsurf, Если что, пишите в телеграм.

[Сергей Ильин]

Сергей Карбивничий, о! Круто! Спасибо!!!