Запрос к сайту с использованием прокси в Python?

Question

[Frunix]

хочу подключиться к сайту с помощью прокси, но каждый раз мне выдает мой айпи, пробовал разные варианты по гайдам но решение так и не нашел

import requests
url = "https://httpbin.org/ip";
proxy = "127.0.0.1:8080" #ip для примера
proxies = {"https://" : "https://" + proxy}
print( proxies )
# r = requests.Session()
# r.proxies = proxies
r = requests.get (url, proxies=proxies, timeout=20)
print(r.text)

Comments

[Рамис]

import requests
url = "https://ramziv.com/ip";
proxy = "213.142.153.155:1993"
proxies = {"https" : proxy}
r = requests.get(url, proxies=proxies, timeout=20)
print(f'myip: {r.text}')

myip: 213.142.153.155

[Frunix]

получаю ошибку InvalidURL: Proxy URL had no scheme, should start with http:// or https://
поправил proxies = {"https" : "https://" + proxy} и заработало
спасибо

Answer 1

[Alex F]

Вот два варианта. Первый через urllib, второй через requests.

import time
import requests
import urllib.request
import socket
import socks
import locale
import warnings
start_time = time.time()
locale.setlocale(locale.LC_ALL, '')
warnings.filterwarnings('ignore')

url = 'http://ifconfig.io/ip'
socks.set_default_proxy(socks.SOCKS5, "127.0.0.1", port=9050)
socket.socket = socks.socksocket
res = urllib.request.urlopen(url).read()
print (res.decode())

end = round(time.time() - start_time, 2)
print(f'--- {end} seconds ---')
start_time = time.time()

proxy = {
    'http': 'http://111.68.26.237:8080',
    'https': 'https://111.68.26.237:8080'
}

addr = requests.get(url, proxies=proxy).text
print (addr)
end = round(time.time() - start_time, 2)
print(f'--- {end} seconds ---')

Мдя, через TOR намного быстрее.

209.141.57.164
--- 0.82 seconds ---
111.68.26.237
--- 14.54 seconds ---

Answer 2

[Uno di Palermo]

с открытым тор браузером:

proxies = {
'http': 'socks5h://127.0.0.1:9150',
'https': 'socks5h://127.0.0.1:9150'
}

session = requests.Session()
r = session.get(page_, proxies=proxies, stream=True)