Как принять кириллицу в GET запросе Flask?

Question

[Максим Стихарев]

Кто сталкивался с проблемой раскодирования текста на русском GET-запроса? Код

# !/usr/bin/python
# -*- coding: utf8 -*-
# import os, sys
# импортируем нужные модули
import json, urllib2, time
from flask import Flask, request

app = Flask(__name__)


@app.route('/', methods=['GET', 'POST'])
def yaapi_bot():
    # указываем адрес для json запросов
    url = 'https://api-sandbox.direct.yandex.ru/live/v4/json/'
    phrases_ = (request.args.get('keyword'))
    geo_id = request.args.get('geo_id')
    # указываем токен доступа
    token = 'ТУТ ТОКЕН'

Ошибка:

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-7: ordinal not in range(128)

Возможно стоит использовать какой то метод декодирования?
Еще код ошибки

GET /?keyword=%D0%BF%D0%BE%D0%BC%D0%B8%D0%B4%D0%BE%D1%80%D1%8B%20%D1%81%D0%BF%D0%B1&geo_id=0 HTTP/1.1" 500

Использую python2

Полный трейбек ошибки:

[2018-01-26 15:45:23,469] ERROR in app: Exception on / [GET]
Traceback (most recent call last):
  File "C:\env_for_pc\venv\lib\site-packages\flask\app.py", line 1982, in wsgi_app
    response = self.full_dispatch_request()
  File "C:\env_for_pc\venv\lib\site-packages\flask\app.py", line 1614, in full_dispatch_request
    rv = self.handle_user_exception(e)
  File "C:\env_for_pc\venv\lib\site-packages\flask\app.py", line 1517, in handle_user_exception
    reraise(exc_type, exc_value, tb)
  File "C:\env_for_pc\venv\lib\site-packages\flask\app.py", line 1612, in full_dispatch_request
    rv = self.dispatch_request()
  File "C:\env_for_pc\venv\lib\site-packages\flask\app.py", line 1598, in dispatch_request
    return self.view_functions[rule.endpoint](**req.view_args)
  File "C:/env_for_pc/env_for_pc.py", line 113, in yaapi_bot
  File "C:/env_for_pc/env_for_pc.py", line 37, in makeRep
    response = urllib2.urlopen(url, jdata)
  File "C:\Python27\Lib\urllib2.py", line 126, in urlopen
    return _opener.open(url, data, timeout)
  File "C:\Python27\Lib\urllib2.py", line 391, in open
    response = self._open(req, data)
  File "C:\Python27\Lib\urllib2.py", line 409, in _open
    '_open', req)
  File "C:\Python27\Lib\urllib2.py", line 369, in _call_chain
    result = func(*args)
  File "C:\Python27\Lib\urllib2.py", line 1181, in https_open
    return self.do_open(httplib.HTTPSConnection, req)
  File "C:\Python27\Lib\urllib2.py", line 1142, in do_open
    h.request(req.get_method(), req.get_selector(), req.data, headers)
  File "C:\Python27\Lib\httplib.py", line 946, in request
    self._send_request(method, url, body, headers)
  File "C:\Python27\Lib\httplib.py", line 987, in _send_request
    self.endheaders(body)
  File "C:\Python27\Lib\httplib.py", line 940, in endheaders
    self._send_output(message_body)
  File "C:\Python27\Lib\httplib.py", line 807, in _send_output
    self.send(message_body)
  File "C:\Python27\Lib\httplib.py", line 775, in send
    self.sock.sendall(str)
  File "C:\Python27\Lib\ssl.py", line 205, in sendall
    v = self.send(data[count:])
  File "C:\Python27\Lib\ssl.py", line 176, in send
    v = self._sslobj.write(data)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 107-110: ordinal not in range(128)
127.0.0.1 - - [26/Jan/2018 15:45:23] "GET /?keyword=%D1%82%D0%B5%D1%81%D1%82 HTTP/1.1" 500 -

Comments

[Максим Стихарев]

Pavel Denisov, Исправил

[Максим Стихарев]

Pavel Denisov, jdata = json.dumps(data, ensure_ascii=False)

[Максим Стихарев]

Pavel Denisov, тут проблема в том что нельзя делать ensure_ascii=True, потому-что API запрос формируется неверно и отправляется ошибка

{u'error_detail': u'Request encoding is not UTF8', u'error_code': 501, u'error_str': u'Invalid request'}

[Максим Стихарев]

# !/usr/bin/python
# -*- coding: utf8 -*-
# import os, sys
# импортируем нужные модули
import json, urllib.request, time
from flask import Flask, request, jsonify
app = Flask(__name__)


@app.route('/', methods=['GET', 'POST'])
def yaapi_bot():
    # указываем адрес для json запросов
    url = 'https://api-sandbox.direct.yandex.ru/live/v4/json/'
    phrases_ = (request.args.get('keyword'))
    # geo_id = request.args.get('geo_id')
    # указываем токен доступа
    token = 'AQAAAAAC0GCRAATFphThfl3oKE4FnuCz1wygJ84'

    # функция для формирования отчета
    def makeRep():
        # создаем json запрос
        data = {
            # указываем метод вордстат, с которым работаем, в данном случае - создаем отчет
            'method': 'CreateNewForecast',
            # указываем токен доступа
            'token': token,
            # задаем входные параметры; у каждого метода они свои
            'param': {
                # Указываем не более 10 фраз через запятую
                'Phrases': [phrases_],
                # Указываем нужный регион, если не указали - Все регионы
                # 'GeoID': [geo_id],
                'Currency': 'RUB'
            }}
        # Трансформируем json-запрос в одну строку и отправляем в Яндекс:)
        jdata = json.dumps(data, ensure_ascii=False)
        response = urllib.request.urlopen(url, jdata)
        # Получаем ответ
        response2 = json.loads(response.read().decode('utf-8'))
        # заносим нужную нам часть ответа в переменную
        id = response2['data']
        # делаем так, что функция на выходе давала номер отчета
        return id

    # Функция проверки готовности отчета
    def checkRep():
        data = {
            # метод проверки готовности отчета
            'method': 'GetForecastList',
            'token': token
        }
        jdata = json.dumps(data, ensure_ascii=False)
        response = urllib.request.urlopen(url, jdata)
        responsedata = json.loads(response.read().decode('utf-8', 'ignore'))
        return responsedata['data'][len(responsedata['data']) - 1]['StatusForecast']

    # функция для чтения отчета
    def readRep(id):
        # Задаем условие: пока функция проверки готовности не даст положительный ответ, будем ждать
        while checkRep() != 'Done':
            time.sleep(2)

        data = {
            # используем метод для получения отчета
            'method': 'GetForecast',
            'token': token,
            # указываем номер отчета
            'param': id
        }

        jdata = json.dumps(data, ensure_ascii=False)
        response = urllib.request.urlopen(url, jdata)
        response2 = json.loads(response.read().decode('utf-8'))
        responsedata = (json.dumps(response2['data'], indent=4))
        x = response2['data']['Common']
        y = response2['data']['Phrases'][0]
        ya_phrase = str(y['Phrase'].encode('utf8'))
        ya_min = str(y['Min'])
        ya_max = str(y['Max'])
        ya_prem_min = str(y['PremiumMin'])
        ya_prem_max = str(y['PremiumMax'])
        ya_shows = str(y['Shows'])
        ya_first_p_clicks = str(y['FirstPlaceClicks'])
        ya_prem_clicks = str(y['PremiumClicks'])
        ya_ctr = str(y['CTR'])
        ya_first_p_ctr = str(y['FirstPlaceCTR'])
        ya_prem_ctr = str(y['PremiumCTR'])
        first_string = str('Geo:' + str(x['Geo'].decode('utf8')) + 'Min:' + str(x['Min']) + 'Max:' + str(x['Max']) + 'PremiumMin:' + str(x['PremiumMin']) + 'Shows:' + str(x['Shows']) + 'Clicks:' + str(x['Clicks']) + 'FirstPlaceClicks:' + str(x['FirstPlaceClicks']) + 'PremiumClicks:' + str(x['PremiumClicks']))
        second_string = str('Phrase:' + ya_phrase + 'Min' + ya_min + 'Max:' + ya_max + 'Prem_Min:' + ya_prem_min + 'Prem_Max' + ya_prem_max + 'Shows:' + ya_shows + 'FPC:' + ya_first_p_clicks + 'PremClicks:' + ya_prem_clicks + 'CTR:' + ya_ctr  + '%' + 'First_P_Ctr:' + ya_first_p_ctr + '%'+ 'PremCTR:' + ya_prem_ctr + '%')
        total_result = {
         "messages": [
           {"text": first_string},
           {"text": second_string}
         ]
        }
        total_result = (json.dumps(total_result, indent=4))
        return jsonify(total_result)


    # функция для удаления прочитанных отчетов
    def delRep(id):
        data = {
            # метод для удаления отчета
            'method': 'DeleteForecastReport',
            'token': token,
            # указываем номер отчета и удаляем, он нам бльше не нужен
            'param': id
        }

        jdata = json.dumps(data, ensure_ascii=False)

        response_delete = urllib.request.urlopen(url, jdata)
        return response_delete

    # вверху было только описание функций, а сама программа идет ниже:)

    id = makeRep()
    resp_d = readRep(id)
    delRep(id)
    return resp_d
    # конец!


if __name__ == '__main__':
    app.run()

Вот код, bitbucket кодировку сбил, комментарии не видно

[Максим Стихарев]

Pavel Denisov, phrases_ принимает значения из URL строки обращения к приложению, допустим ?keyword=тест он переведет тест в ascii и будут ошибки, потому-что запрос к Yandex Api должен быть в UTF8. При этом задекодить phrases_ тоже будут ошибки, замкнутый круг.......

[Максим Стихарев]

Pavel Denisov, Решил проблему
Костыль

phrases_ = (request.args.get('keyword')).encode('utf-8')
    phrases_.decode('utf-8')

Answer 1

[Виктор Таран]

Comments

[Максим Стихарев]

проблема в том, что у меня приложение без HTML кода, беру ключ по GET и записываю в переменную, на момент когда я беру ключ, вылетает 500 ошибка.

[Максим Стихарев]

Виктор Таран причем, возможно будет ввод такой keyword=машина -mercedes
Что означает искать машины с маркой не mercedes, работаю с yandex apiV4, еще мне нужно это сохранить в переменную

[Максим Стихарев]

Также в яндксе, мне просто вот такой функционал нужен) joxi.ru/KAxBdKVT49YQPm