Как правильно подать GET запрос чтобы страница изменилась?

Question

[Dizro]

Я собираю отзывы с Яндекс.Карты и подаю запрос на изменение сортировки "По новизне". Могли бы вы объяснить, что я делаю не так? (Сортировка почему-то не применяется)

import requests
url = 'https://yandex.ru/maps/org/1581539215/reviews'
headers = {'ranking': 'by_time'}
r = requests.get(url, headers=headers)
print(r.text)

Comments

[Dizro]

Ссылка на фото с проблемой: https://sun9-83.userapi.com/impf/qc6uubHcfR-Nat0po...

[soremix]

Это точно не гет параметры запроса? Странно видеть подобное в заголовках

(конечно, ещё странней видеть ксрф токен там, но все же)

[Dizro]

soremix, это гет параметры https://sun9-69.userapi.com/impf/M3Y-UixJjSD5qrZlQ...

[soremix]

Dizro, тогда они должны идти не в параметр headers, а в params

[Dizro]

soremix, все равно не работает

Answer 1

[Сергей П]

Смотрите. Вот у вас задача - получить отзывы так, чтобы новые были сверху.
Вы дёргаете урл страницы с отзыывами и суёте в заголовки параметр с указанием сортировки. Но с чего вы вообще взяли, что АПИ принимает этот параметр через заголовки?

Как следовало бы вам решать эту проблему. Метод годный для многих случаев.
Нажимайте в хроме F12, выбирайте вкладку Networking и меняйте сортировку (мышкой на страничке). Смотрите, там появляется новый запрос, который страница делает через аякс не перезагружаясь полностью:
https://yandex.ru/maps/api/business/fetchReviews?a...
У вас запрос по конкретно этому урлу не выдаст данных, поскольку scrf-токен будет не актуальным и сессия не будет валидной. Чтобы получить токен и сессию вы можете сделать штатный гет запрос к странице. как вы делали в своём посте.
Имея необходимые токены вы можете делать запросы с параметром ajax и не придётся парсить страницу выуживая данные, они будут сразу в json.

Comments

[Артём Пешков]

Я попробовал так сделать, csrfToken нашел в коде страницы, которая отдается при первом обращении, а вот остальные параметры, нужные для успешного ajax-запроса с сортировкой по новизне, не пойму где вытащить:
&reqId=1701347550690419-1133422343-addrs-upper-yp-95
&s=1541143390
&sessionId=1701347550654_298289
Без них сервер отвечает Bad Request.
Не подскажете где их искать?

[Сергей П]

Артём Пешков, больше года уже прошло, может ну его нахрен? Там у них и АПИ уже поменялось несколько раз наверно. Думаю они не дадут вам просто так грабить их данные. Очень непросто притворяться браузером, если вас хотят поймать "за руку" на этом.
Копайте в сторону селениума. Там реально под капотом открывается браузер и вы сможете полученный контент обрабатывать.

Answer 2

[Дмитрий Тычинин]

У вас URL на страницу с отзывами, а на скрине URL на yandex.ru/map/api. Скорее всего, даже если вы поменяете URL в программе, он вам не отдаст нужный ответ, необходимо смотреть, какие куки он при этом отдает.

Comments

[Dizro]

https://sun9-53.userapi.com/impf/u3B05fp8hq7-9Z1NF...

[Дмитрий Тычинин]

Dizro, Копайте в сторону requests.Session(), он сохраняет куки.

[Дмитрий Тычинин]

Dizro, В любом случае, даже если вы сохраните эти куки, у яндекса есть капча. Советую посмотреть, как применяются прокси-листы в парсерах.

Answer 3

[Андрей]

Решили задачку? )
Get запроса к урлу прикрутить нельзя никак?

Answer 4

[it_monsterVV]

У яндекса по данному запросу можно получать отзывы и указывать сортировку по новизне или релевантности:
https://yandex.ru/maps/api/business/fetchReviews?a...}

Все параметры можно получать из html страницы и самый сложный параметр {s_hash} - специальный хэш для верефикации запроса и генерируется он из всех get параметров:

def hash_function(e):
    t = len(e)
    n = 5381
    for r in range(t):
        n = 33 * n ^ ord(e[r])
    return n & 0xFFFFFFFF

s_hash = hash_function("ajax=1&businessId={busness_id}&csrfToken={csrf_token}&locale=ru_RU&page=1&pageSize=50&ranking=by_time&reqId={req_id}&sessionId={session_id}")

если что пишите мне на почту.