Как установить Grab на Windows 10 (Python 3.7)?

Question

[Роман Романов]

Разработчик пишет, что нужно поставить 2 библиотеки
1) lxml-2.3.3.win32-py2.6.exe
2) pycurl

С первой проблем не было
Вторую устанавливать нужно конкретной версии - pycurl-7.19.5.3 - и вот с ней у меня ничего не получается

Скачал отсюда - https://bintray.com/pycurl/pycurl/pycurl/view#files
Версии для питона 3.7 там нет
Скачал 3.5 exe файл - ошибка, установка не произошла
Скачал pycurl-7.19.5.3.tar.gz и запустил через консоль через easy install:

$ C:\Users\Ave\AppData\Local\Programs\Python\Python37-32\python.exe  C:\Users\Ave\AppData\Local\Programs\Python\Python37-32\Scripts\easy_install-3.7.exe grab
Searching for grab
Best match: grab 0.6.41
Processing grab-0.6.41-py3.7.egg
grab 0.6.41 is already the active version in easy-install.pth

Using c:\users\ave\appdata\local\programs\python\python37-32\lib\site-packages\grab-0.6.41-py3.7.egg
Processing dependencies for grab
Finished processing dependencies for grab

Но файл с примером скрипта Grab не запускается с ошибкой:

$ spyder.py
Traceback (most recent call last):
  File "C:\Users\Ave\AppData\Local\Programs\Python\Python37-32\lib\site-packages\grab-0.6.41-py3.7.egg\grab\base.py", line 267, in setup_transport
    cls = TRANSPORT_CACHE[(mod_path, cls_name)]
KeyError: ('grab.transport.curl', 'CurlTransport')

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\python\dsi\spyder.py", line 5, in <module>
    g.go('yandex.ru')
  File "C:\Users\Ave\AppData\Local\Programs\Python\Python37-32\lib\site-packages\grab-0.6.41-py3.7.egg\grab\base.py", line 382, in go
    return self.request(url=url, **kwargs)
  File "C:\Users\Ave\AppData\Local\Programs\Python\Python37-32\lib\site-packages\grab-0.6.41-py3.7.egg\grab\base.py", line 454, in request
    self.prepare_request(**kwargs)
  File "C:\Users\Ave\AppData\Local\Programs\Python\Python37-32\lib\site-packages\grab-0.6.41-py3.7.egg\grab\base.py", line 402, in prepare_request
    self.setup_transport(self.transport_param)
  File "C:\Users\Ave\AppData\Local\Programs\Python\Python37-32\lib\site-packages\grab-0.6.41-py3.7.egg\grab\base.py", line 269, in setup_transport
    mod = __import__(mod_path, globals(), locals(), ['foo'])
  File "C:\Users\Ave\AppData\Local\Programs\Python\Python37-32\lib\site-packages\grab-0.6.41-py3.7.egg\grab\transport\curl.py", line 22, in <module>
    import pycurl
ModuleNotFoundError: No module named 'pycurl'

Подскажите, что я не так сделал?

Comments

[Ranwise]

Роман напиши автору в https://t.me/grablab_ru

Answer 1

[DarkWood]

Такой же вопрос на StackOverflow: https://stackoverflow.com/questions/53492993/pycur...

tl;dr
Берите неофициальную сборку: https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl

Comments

[Роман Романов]

Проблема в том, что версия pycurl‑7.43 не поддерживается Грабом
Нужна 7.19

[DarkWood]

Роман, в документации написано не "не поддерживается", а "может работать нестабильно":

Do not use the recent version of pycurl (7.43.0 at the moment). This version fails randomly on windows platform.

У меня установлено:
python 3.7.2
grab 0.6.41
pycurl 7.43.1

Конечно, выборка совсем не репрезентативная, но работает хорошо. Парсил форум на 3+ миллиона ID пользователей.

[Роман Романов]

DarkWood, как удалить текущую версию, которую я поставил?

Через пип не получается:

$ pip uninstall pycurl
ERROR: Cannot uninstall 'pycurl'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

[DarkWood]

Библиотека же была установлена не через pip. Вот он и не может ее удалить. Честно говоря, тут не подскажу как быть.