Пытаюсь спарсить страницы с протоколом https с применением прокси с авторизацией и без авторизации.
Для примера парсила
https://2ip.ru/
Нашла множество способов парсинга с помощью requests, однако при парсинге страницы
https://2ip.ru/ я вижу, что мой ip адрес не меняется. Как решить эту проблему? Как всё таки поменять прокси адрес?
Прокси покупала
Пример с прокси без авторизации:
import requests
url = 'http://45.235.110.66:53281'
r = requests.get('http://2ip.ru/', proxies={'http':url})
print(r.status_code)
print(r.text)
# Вывод:
# html со старым ip или бывает такой вывод:
# requests.exceptions.ProxyError: HTTPConnectionPool(host='45.235.110.66', port=53281): Max retries exceeded with url: #http://2ip.ru/ (Caused by ProxyError('Cannot connect to proxy.', NewConnectionError('<urllib3.connection.HTTPConnection #object at 0x0000021BC08F94C0>: Failed to establish a new connection: [WinError 10060] Попытка установить соединение #была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже #установленное соединение из-за неверного отклика уже подключенного компьютера')))
Пример прокси с авторизацией:
import requests
from requests.auth import HTTPProxyAuth
s = requests.Session()
proxies = {
"http": "http://45.87.255.43:59923",
"https": "https://45.87.255.43:59923"
}
auth = HTTPProxyAuth("KmUxr4kY", "gFAa7tku")
s.proxies = proxies
s.auth = auth # Set authorization parameters globally
ext_ip = s.get('http://2ip.ru/')
print(ext_ip.text)
# вывод:
# ничего
# вывод:
# ничего
ip адрес не меняется :(