Как лучше спарсить информацию с сайта?

Question

[ArtemZA]

Здравствуйте.
Имеется сайт https://strelkacard.ru/ - сайт позволяет узнать баланс по карте.
Что бы постоянно не лазить в браузер, решил сделать скрипт на Python.
Но толком не знаю как лучше решить эту задачу
В качестве начала, написал простой скрипт с использованием Selenium, баланс удалось получить, но это всё тот же браузер хоть и автоматизированный.
Решил попробовать Scrapy, но он при установке через pip выдаёт ошибку

Cleaning up...
  Removing temporary dir C:\Users\Artem\AppData\Local\Temp\pip_build_Artem...
Command python setup.py egg_info failed with error code 1 in C:\Users\Artem\AppData\Local\Temp\pip_build_Artem\cffi
Exception information:
Traceback (most recent call last):
  File "D:\Program Files\Python\lib\site-packages\pip\basecommand.py", line 122, in main
    status = self.run(options, args)
  File "D:\Program Files\Python\lib\site-packages\pip\commands\install.py", line 278, in run
    requirement_set.prepare_files(finder, force_root_egg_info=self.bundle, bundle=self.bundle)
  File "D:\Program Files\Python\lib\site-packages\pip\req.py", line 1229, in prepare_files
    req_to_install.run_egg_info()
  File "D:\Program Files\Python\lib\site-packages\pip\req.py", line 325, in run_egg_info
    command_desc='python setup.py egg_info')
  File "D:\Program Files\Python\lib\site-packages\pip\util.py", line 697, in call_subprocess
    % (command_desc, proc.returncode, cwd))
pip.exceptions.InstallationError: Command python setup.py egg_info failed with error code 1 in C:\Users\Artem\AppData\Local\Temp\pip_build_Artem\cffi

Comments

[longclaps]

Очень интересно, ждём продолжения.

[javedimka]

Если мне не изменяет память то на хабре есть статья которая от а до я описывает создание скрипта для граба инфы с этого сайта, причём все это на питоне.

Upd: ну я почти все правильно запомнил:
https://m.habrahabr.ru/post/278847/

[ArtemZA]

javedimka: Спасибо большое за наводку,как то сам не додумался

[Мир]

я парсю на php xpath

Answer 1

[screen_sailor]

Попробуй установить не через pip, а как doc прописал :
Though it’s possible to install Scrapy on Windows using pip, we recommend you to install Anaconda or Miniconda and use the package from the conda-forge channel, which will avoid most installation issues.

Comments

[ArtemZA]

Установил с помощью miniconda.Но стандартный python ide при импорте не видит библиотеку Scrapy

[screen_sailor]

ArtemZA: А это сделано?
Once you’ve installed Anaconda or Miniconda, install Scrapy with:
conda install -c conda-forge scrapy

[ArtemZA]

screen_sailor: Да сделано, Program Files\Python\Lib\site-packages\scrapy-1.4.0-py3.4.egg в этой папке 2 другие папки: EGG-INFO и scrapy.В pip в списке установленных так же есть scrapy.
Насчёт не видит scrapy

Traceback (most recent call last):
File "D:\Program Files\Python\scrappytest.py", line 1, in
import scrapy
File "D:\Program Files\Python\lib\site-packages\scrapy-1.4.0-py3.4.egg\scrapy\__init__.py", line 27, in
from . import _monkeypatches
File "D:\Program Files\Python\lib\site-packages\scrapy-1.4.0-py3.4.egg\scrapy\_monkeypatches.py", line 20, in
import twisted.persisted.styles # NOQA
ImportError: No module named 'twisted'

[screen_sailor]

ArtemZA: Тогда если как обычно перезагруз винды. Больше ничего не приходит на ум.

Answer 2

[Bjornie]

Command python setup.py egg_info failed with error code 1 in C:\Users\Artem\AppData\Local\Temp\pip_build_Artem\cffi

Comments

[ArtemZA]

как я понял она удаляется самой первой
Removing temporary dir C:\Users\Artem\AppData\Local\Temp\pip_build_Artem

[Дмитрий]

пайтон какой версии? может pip3 попробовать?

[ArtemZA]

Дмитрий: python 3.4.0, ставил и через pip,pip3,pip3.4 везде один и тот же результат

Answer 3

[Дмитрий]

Requests + Beautiful Soup можно попробовать.

Comments

[x67]

а Beautiful Soup чем там поможет?)

Answer 4

[x67]

Нафига стероидные качки вроде селениума, когда задача в 5 строчек решается стандартной библиотекой requests. Там же вообще нифига не надо, посылаете GET запрос и получаете ответ в формате JSON. Это же почти открытое апи, ничего сложного и все удобно. Не забывайте хедеры все из браузера скопировать, что бы сайт не ругался (на всякий случай).