@ArtemZA
Студент

Как лучше спарсить информацию с сайта?

Здравствуйте.
Имеется сайт https://strelkacard.ru/ - сайт позволяет узнать баланс по карте.
Что бы постоянно не лазить в браузер, решил сделать скрипт на Python.
Но толком не знаю как лучше решить эту задачу
В качестве начала, написал простой скрипт с использованием Selenium, баланс удалось получить, но это всё тот же браузер хоть и автоматизированный.
Решил попробовать Scrapy, но он при установке через pip выдаёт ошибку
Cleaning up...
  Removing temporary dir C:\Users\Artem\AppData\Local\Temp\pip_build_Artem...
Command python setup.py egg_info failed with error code 1 in C:\Users\Artem\AppData\Local\Temp\pip_build_Artem\cffi
Exception information:
Traceback (most recent call last):
  File "D:\Program Files\Python\lib\site-packages\pip\basecommand.py", line 122, in main
    status = self.run(options, args)
  File "D:\Program Files\Python\lib\site-packages\pip\commands\install.py", line 278, in run
    requirement_set.prepare_files(finder, force_root_egg_info=self.bundle, bundle=self.bundle)
  File "D:\Program Files\Python\lib\site-packages\pip\req.py", line 1229, in prepare_files
    req_to_install.run_egg_info()
  File "D:\Program Files\Python\lib\site-packages\pip\req.py", line 325, in run_egg_info
    command_desc='python setup.py egg_info')
  File "D:\Program Files\Python\lib\site-packages\pip\util.py", line 697, in call_subprocess
    % (command_desc, proc.returncode, cwd))
pip.exceptions.InstallationError: Command python setup.py egg_info failed with error code 1 in C:\Users\Artem\AppData\Local\Temp\pip_build_Artem\cffi
  • Вопрос задан
  • 823 просмотра
Пригласить эксперта
Ответы на вопрос 4
@screen_sailor
The Screen Is Not Enough
Попробуй установить не через pip, а как doc прописал :
Though it’s possible to install Scrapy on Windows using pip, we recommend you to install Anaconda or Miniconda and use the package from the conda-forge channel, which will avoid most installation issues.
Ответ написан
@Bjornie
Изучаю Python
Command python setup.py egg_info failed with error code 1 in C:\Users\Artem\AppData\Local\Temp\pip_build_Artem\cffi
Ответ написан
kashamalasha
@kashamalasha
Requests + Beautiful Soup можно попробовать.
Ответ написан
x67
@x67
Нафига стероидные качки вроде селениума, когда задача в 5 строчек решается стандартной библиотекой requests. Там же вообще нифига не надо, посылаете GET запрос и получаете ответ в формате JSON. Это же почти открытое апи, ничего сложного и все удобно. Не забывайте хедеры все из браузера скопировать, что бы сайт не ругался (на всякий случай).
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы