Какую библиотеку можете посоветовать для клиента к hive?

Question

[Николай Бараненко]

Здравствуйте.

Потратил кучу времени для написания простейшего клиента к hive на python под ОС Windows:
проблема возникала с модулем SASL
ошибки с ним

thrift.transport.TTransport.TTransportException: Could not start SASL: b'Error in sasl_client_start (-12) SASL library is not initialized'

и т.д.

Посоветуйте пожалуйста модуль, который избежит необходимости встречи с SASL.

Answer 1

[Владимир Олохтонов]

А чем PyHive не угодил?
https://pypi.python.org/pypi/PyHive

Comments

[Николай Бараненко]

с ним есть сложности при работе из-под ОС windows

пишу

from pyhive import presto  # or import hive
cursor=presto.connect(host='namenode1', port=10000, protocol='https', username='tech_user', password='passsword1').cursor()
cursor.execute('select * from base1.change_cnt limit 10')
print(cursor.fetchone())
print(cursor.fetchall())

получаю ошибку

File "C:\Software\Python36\lib\site-packages\requests\api.py", line 58, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Software\Python36\lib\site-packages\requests\sessions.py", line 508, in request
    resp = self.send(prep, **send_kwargs)
  File "C:\Software\Python36\lib\site-packages\requests\sessions.py", line 618, in send
    r = adapter.send(request, **kwargs)
  File "C:\Software\Python36\lib\site-packages\requests\adapters.py", line 506, in send
    raise SSLError(e, request=request)
requests.exceptions.SSLError: HTTPSConnectionPool(host='namenode1', port=10000): Max retries exceeded with url: /v1/statement (Caused by SSLError(SSLError(1, '[SSL: UNKNOWN_PROTOCOL] unknown protocol (_ssl.c:777)'),))

как с ней бороться?

[Владимир Олохтонов]

А у вас там точно https на 10000 порту ?

[Николай Бараненко]

подозреваю именно в этом была собака зарыта, по порту 10000 работает JDBC подключение и только. Выходит так, что я пытаюсь использовать не тот интерфейс и в таком случае модули питона при отсутствии других открытых портов использоваться не могут?

[Владимир Олохтонов]

Николай Бараненко, попробуйте для начала стереть аргумент protocol, не помню что там по дефолту, но может сработать :)

[Николай Бараненко]

я начинал без него :-)

[Николай Бараненко]

почему JDBC работает по порту 10000 а pyhive отказывается?

[Владимир Олохтонов]

Николай Бараненко, здесь мои знания заканчиваются)

Answer 2

[Юрий]

А почему вы не хотите использовать hiveserver и обращаться по jdbc\ odbc драйверу к нему?