В чём ошибка get (модуль requests) запроса (не может найти страницу)?

Question

[Vofanchik]

Хочу автоматизировать работу в закупках. Нашёл API который в этом поможет, но его не достаточно для получения необходимой информации, поэтому нужно парсить оф. сайт госзакупок (у него нет api). Получив номер контракта, при get запросе в requests выдаёт что страница не существует, хотя если её вбивать в адресную строку браузера, всё отлично находит. Помогите пожалуйста.

import requests
from pprint import pprint
from bs4 import BeautifulSoup
import re

#prodsearch = {input('Введите поисковой запрос ')}
prodsearch = {'Ван гизон'}
response = requests.get(
    f"http://openapi.clearspending.ru/restapi/v3/contracts/search/?productsearch={prodsearch}&customerregion=77&currentstage=EC&perpage=1&sort=-signDate")

#pprint(response.json())

for contracts in response.json()['contracts']['data']:
    regnum = contracts['regNum']
    print(regnum)
    pprint(contracts['suppliers'][0]['organizationName'])
    print(contracts['contractUrl'])
    payload = {'contractReestrNumber': regnum}
    response_2 = requests.get('https://zakupki.gov.ru/epz/contract/printForm/view.html?', params = payload)
    response_2.encoding = 'utf-8'
    pprint(response_2.text)

    print(contracts['contractUrl'])
    for itera, products in enumerate(contracts['products']):
        pprint(products['name'])
        if itera == 5:
            break
    print('_' * 100)

Comments

[Fedor Vlasenko]

requests.get(
    f"http

f тут как лишняя

[Михаил Кростелев]

Есть ли API у zakupki.gov.ru?
тут что-то про API говорилось

[Даниил Шевкунов]

Fedor Vlasenko, f не лишняя, это f строка, полезная вещь

Answer 1

[Сергей Карбивничий]

Нужно передать user agent и другие заголовки в запросе(их можно посмотреть в dev tools вашего браузера)

Comments

[Vofanchik]

Спасибо огромное, сработало!

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'}

    response_2 = requests.get('https://zakupki.gov.ru/epz/contract/printForm/view.html?', params = payload, headers = headers)