В браузере ответ от ресурса один, в скрипте – другой. Почему?

Question

[FaustGette]

Делаю запрос через браузер, копирую url: https://processing.ruscorpora.ru/search.xml?env=al...

Разбираю его на теги

params = {}
for tag in full_url.split('&'):
    key, val = tag.split('=')
    params[key] = val

Делаю запрос через
res = requests.get(url, params=params)

И получаю пустую страницу:


Однако стоит только убрать gramm1=acc%2C+sg из параметров, как результат на странице появляется. Причём, если у gramm1 только одно значение, то результат есть: gramm1=acc, например.

Что это такое, почему это возникает и как это убрать? Появилось пару дней назад, до этого всё работало хорошо.
Заранее спасибо за помощь!

Answer 1

[soremix]

Вообще, у меня все работает.
Однако странно видеть запрос с передачей параметров через params.
Ну и первый параметр от url отделяется не амперсандом, а знаком вопроса.
Распечатайте params, увидите, что там такое

{'https://processing.ruscorpora.ru/search.xml?env': 'alpha', 'api': '1.0', 'mode': 'main', 'sort': 'i_grtagging', 'lang': 'ru', 'nodia': '1', 'text': 'lexgramm', 'lex1': '%D0%BA%D0%BE%D1%80%D0%BF%D1%83%D1%81', 'gramm1': 'acc%2C+sg'}

Отсюда два вопроса
1. Вы как-то дополнительно изменяете параметры, удаляя лишние значения?
2. Почему не сделать просто запрос на full_url сразу?

Comments

[FaustGette]

Мой пример несколько лабораторный, поскольку я не хотел нагружать вас несущественными деталями.

Это ошибка возникает в контексте проекта API для Национального корпуса русского языка:

Пользователь формирует запрос, указывая грамматические параметры слова (тот самый тэг gramm), на основе чего формируется URL.

Например, запрос такой:

ru = MainCorpus({'корпус': {'gramm': {'case': 'acc', 'num': 'sg'}}}, 2)

Если открывать результат в браузере, то всё работает:
ru.open_url()

А если пытаться запросить в скрипте, то возвращается пустая страница.
ru.request_examples()

[FaustGette]

Упс, ссылка провалилась: https://github.com/FaustGoethe/RNC

[soremix]

FaustGette, для работы нужен python 3.7+, ибо

module 'asyncio' has no attribute 'run'

Ошибка из-за неверной упаковки параметров, как мне кажется.
Здесь:
https://github.com/FaustGoethe/RNC/blob/823b68965a...
в kwargs лежит значение (если выполнить ваш код из комментария выше)

{'env': 'alpha', 'api': '1.0', 'lang': 'en', 'dpp': 5, 'spd': 10, 'text': 'lexgramm', 'out': 'normal', 'sort': 'i_grtagging', 'nodia': 1, 'lex1': 'корпус', 'gramm1': '%28acc%29%2C%28sg%29', 'mode': 'main'}

gramm1 содержит в себе url кодированную строку, которая, при декодировании, превращается в (acc),(sg)
Я подозреваю, что requests дополнительно кодирует ее, превращая в кашу вида
%2528acc%2529%252C%2528sg%2529
которую сам не в силах переварить. Вам нужно раскодировать строку, либо не кодировать её до этого.
Можно предотвратить, допустим, здесь:
https://github.com/FaustGoethe/RNC/blob/823b68965a...
Я бы сделал примерно так:
Должно работать, не могу проверить, у меня 3.6. Убрал добавление ( и ) у параметров, а так же удалил склейку символом %2B, заменив на пробел, requests сам добавит +

res = []
        for val in params.values():
            if isinstance(val, (str, int)):
                val = [str(val)]

            if isinstance(val, list):
                val = [i.replace(':', '%3A') for i in val]
                item = join_inside_symbol.join(val)
                res += [item]
            else:
                msg = "One should give to tags only str, list or int"
                logger.error(msg)
                raise ValueError(msg)
        return ' '.join(res)

[FaustGette]

SoreMix, кстати о переработке этой функции я думаю, но, во-первых, запросы происходят не через requests, а асинхронно: https://github.com/FaustGoethe/RNC/blob/823b68965a...
А во-вторых, всё это до недавнего времени прекрасно работало.
Да и к тому же даже вручную сформированный запрос без кодирования символов к URL приводит к той же самой шляпе: пустая страница.

У меня кончились идеи, чем это может быть вызвано?

[soremix]

FaustGette,
И правда, влияет только на requests, через asyncio и кодированные параметры проходят. Тем не менее, переписал немного код под 3.6, ничего существеннного, вместо create_task и run прописал то же самое через loop, но мне приходит контент при выполнении этого кода:

import rnc
ru = MainCorpus({'корпус': {'gramm': {'case': 'acc', 'num': 'sg'}}}, 2)
ru.request_examples()

[soremix]

FaustGette, проверил на 3.7 - не работает. На 3.6 работает прекрасно. Код выполняю одинаковый, файлы
corpora_requests.py и corpora.py идентичны

[FaustGette]

SoreMix, спасибо за помощь!

Там действительно проблема была в том, что aiohttp.ClientSession.get() преобразует символы к URL кодам повторно. Вопросов меньше не стало, код раньше работал...

Исправил.