Почему запросы к «Балабоба» возвращают 403? И как сделать правильно?

Question

[Meido no Hitsuji]

Пишу скрипт работы с нейронкой "Балабоба" на Python 3.8.5. По запросам сайта можно понять, что api там предельно простое, однако, непонятно почему, при запросах страницы сайт решает возвращать мне 403 с страницей вот такого содержания:

Пытался кидать запрос и с домашнего и с сервера - всё одно и то же.

Запрос, который я кидаю, предельно прост:

import requests

result = requests.post('https://zeapi.yandex.net/lab/api/yalm/text3', json={
    'filter': 1,
    'intro': 0,
    'query': "Пошёл я как-то гулять"
}, headers={
    "Content-Type": "application/json"
})

print(result.text)

Забавный факт. По api на сервер отправляется 3 запроса: GET "intros" для получения типов генерации текстов, OPTIONS text3 (так и не понял для чего), POST text3 (для отправки введённого текста и генерации ответа). Забавно то, что intros возвращает нормальный ответ. Остальные же запросы 403. Также пытался кидать GET, чтобы получить просто код страницы, но ловил 403.

Из возможных решений предлагают пересесть на 3.7.3. Сам я это не проверял, однако если это действительно так работает, то можете подсказать почему? И как это перенести на 3.8, 3.9?

Comments

[SagePtr]

Защита от ботов, вероятнее всего

[Влад Григорьев]

изменение версии питона, тут никак не поможет.
надо смотреть что еще генерится и отправляется, всяко там идут какие-нибудь куки/хедерсы, которые генерятся JS

[Dimonchik]

изменение версии питона, тут никак не поможет.

Влад Григорьев, поможет как плацебо, помогло же в предыдущем топике ))

[Рамис]

SagePtr, нет.
Влад Григорьев, поможет.
Dimonchik, пишут что поможет понижение версии urllib (не проверял)

[Dimonchik]

Рамис, да ну
Яндекс прямо пишет что подозревает бота, а в ы с какими-то версиями

Постман возьмите и посмотрите

[Рамис]

Dimonchik,

Постман возьмите и посмотрите

И он без проблем работает

[Dimonchik]

гм
а экспорт из постмана не работает?

или посман работает с интервалами между запросами?

[Meido no Hitsuji]

Рамис, да каким образом то поможет? Дело в том, что нет возможности понизить версию python (да и звучит как костыльное решение)

[Meido no Hitsuji]

Dimonchik, инсомния всё также дропнула 403

[Meido no Hitsuji]

Влад Григорьев, да, тоже так подумал.. Но в шапке запроса ничего особенного не было.. А куки я решил скопировать и подставить свои, на что тоже получил 403 (на самом деле с куками я почти не работал, так что, мб, тут ошибся со способом обхода)

[Dimonchik]

Meido no Hitsuji,
ясно кароч
Как получать тексты «Балабобы» через Python?

https://www.anekdot.ru/id/706252/

ну а вам только обходить Янлекс защиту

Answer 1

[deepblack]

Выкидываем requests и используем urllib.request
Рабочий вариант, python 3.8-3.9:

import json
import urllib.request

headers = {
    'Content-Type': 'application/json',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_4) AppleWebKit/605.1.15 '
                  '(KHTML, like Gecko) Version/14.1.1 Safari/605.1.15',
    'Origin': 'https://yandex.ru',
    'Referer': 'https://yandex.ru/',
}


API_URL = 'https://zeapi.yandex.net/lab/api/yalm/text3'
payload = {"query": "Ура Хабр", "intro": 0, "filter": 1}
params = json.dumps(payload).encode('utf8')
req = urllib.request.Request(API_URL, data=params, headers=headers)
response = urllib.request.urlopen(req)
print(response.read().decode('utf8'))

Comments

[wolkodav96]

А чем объясняется, что через requests не работает, а через urllib все ок?

[slikkness]

wolkodav96, можно также использовать "https://yandex.ru/lab/api/yalm/text3" вместо zeapi, и тогда заработает и с обычными requests

[itJunkie]

slikkness, 405-ая ошибка там.

[itJunkie]

Андрей у меня не работает этот пример. Во-первых, что бы раскодировать хотябы ту часть ответа балабобы, где мой же текст запроса, нужна адская комбинация:

response.read().decode('unicode-escape').encode('latin1').decode('utf8')

Но даже она не раскодирует ответа самого балабобы и вместо него прилетает либо строка с двойным эскейп слэшем, либо вообще каша из символов. Полагаю, что в запросе мы кодируем строку в набор символов вида \u00d0 и именно на такую строку и генерится ответ балабобы, выглядящий уже не как читаемый текст, а как набор вот таких вот, только рандомных символов...

[itJunkie]

wolkodav96, скорее всего дело не в библиотеке, а в том, что в данном примере код отправляет в заголовках юзерагента похожего на настоящий браузер.

[deepblack]

itJunkie, 405 у тебя от того что ты браузере перешёл по урлу который ожидает получить post запрос, а не get.
В остальном код рабочий и то что там escaped unicode тоже нормально. Только декодировать его можно проще, нежели ты написал.

Answer 2

[Hemul GM]

import requests
import json

url = "https://zeapi.yandex.net/lab/api/yalm/text3"

payload = json.dumps({
  "filter": 1,
  "into": 0,
  "query": "Тест был"
})
headers = {
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

Comments

[Meido no Hitsuji]

Не, точно также 403 кидает..
А у вас заработало? Просто если так, то какая у вас версия python?

[Hemul GM]

Meido no Hitsuji, я тестил через постман и сгенерил код тоже через него

[Hemul GM]

Meido no Hitsuji,
Проверил на питоне. Да, тоже такая ошибка. А вот на Delphi стандартный вариант запроса работает без проблем.

program Yandex.Balaboba;

uses
  System.SysUtils,
  System.Classes,
  System.Json,
  System.Net.HttpClient;

begin
  var Payload := TStringStream.Create;
  var Response := TStringStream.Create;
  var JSON := TJSONObject.Create;
  with THTTPClient.Create do
  begin
    ContentType := 'application/json';
    JSON.AddPair('filter', '1');
    JSON.AddPair('into', '0');
    JSON.AddPair('query', 'Пошёл я как-то гулять');
    Payload.WriteString(JSON.ToJSON);
    Payload.Position := 0;
    Post('https://zeapi.yandex.net/lab/api/yalm/text3', Payload, Response);
    var ResponseJSON := TJSONObject.ParseJSONValue(Response.DataString);
    Writeln(ResponseJSON.ToString);
  end;
  Readln;
end.