Как получить страницу curl(ом), представившись Chrome(ом)?

Question

[Дарья]

Нужно получить содержимое страницы.
Далее собираюсь парсить его регулярными выражениями.

Не понятно как запрос в терминале..
curl -o test.txt (ссылка на сайт)

..использовать в питоновском файле.

Comments

[Сергей Горностаев]

Зачем вам curl? Почему не делать запрос самим Python'ом?

[Дарья]

У меня задание сделать с помощью curl, после регулярными выражениями распарсить

Answer 1

[Developer]

В python'е лучше пользоваться библиотекой requests.
Чтобы представиться хромом, надо в хедерах передать User-agent с данными от Хрома

Comments

[Дарья]

Спасибо. Начала разбираться

[Dimonchik]

Дарья, еще есть pycurl , после PHP в ней разобраться легче и он быстрее реквестс

[Дарья]

dimonchik2013, ага, сейчас буду решать что лучше использовать в моём случае)
Благодарю!

Answer 2

[ventormo]

Скорее всего, в Python должна быть библиотека для работы с CURL (как, например, в PHP). Но вы можете и сам курл вызвать примерно так:

import subprocess

curl = subprocess.Popen( ["curl", "-o", "test.txt", "https://toster.ru", "-A", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"], stdout=subprocess.PIPE ).communicate()

Что же до представиться хромом — используйте хромовский юзерагент. В CURL это ключ -A пример.

Comments

[Developer]

Ух, какой костыль