Есть ли универсальный инструмент для работы с прокси через aiohttp?

Question

[Ternick]

Например для socks проксей нужно использовать aiohttp_socks, http прокси принимает сам aiohttp, https (вообще не знаю что с ним можно сделать, потому что если открыто пихать его в proxy="https://" пишет что не работает с https и что с ним вообще потом делать не понятно)
У меня есть некий список прокси вот в таком формате:

[
'5.9.201.68:3128', #http or https or http/https
'socks4://93.190.58.4:47491', # socks4
'socks5://207.154.233.200:1080' #socks5
]

Я хочу получить что то подобное на поведение requests с проксями:

from requests import get
proxies = ['5.9.201.68:3128', 'socks4://93.190.58.4:47491', 'socks5://207.154.233.200:1080']
for proxy in proxies:
    print(get("https://ifconfig.me/ip", proxies={"http://": proxy, "https": proxy}).text)

Есть ли что то такое в готов варианте или мне нужно делать функцию которая будет создавать сессию смотря на тип прокси и отдавать её уже дальше в функцию с запросом ?

Answer 1

[Web Dentist]

https://github.com/Skactor/aiohttp-proxy

Comments

[Ternick]

У меня не работает эта библиотека :(
Хотя версия питона 3.6.6, а версия aiohttp 3.0.1.
КОД:

import asyncio
import aiohttp
from aiohttp_proxy import ProxyConnector

async def getResponse(url, proxy):
	if proxy[0].isalpha() != True:
		proxy = "http://" + proxy
	async with aiohttp.ClientSession(connector=ProxyConnector.from_url(proxy)) as session:
		async with session.get(url) as response:
			if response.status == 200:
				return await response.text()

async def main():
	print(await getResponse("https://ifconfig.me/ip", "207.154.237.71:3128"))

if __name__ == '__main__':
	loop = asyncio.get_event_loop()
	loop.run_until_complete(main())

ОШИБКА:

Traceback (most recent call last):
  File "C:\Users\terno\Desktop\async\main.py", line 48, in <module>
    loop.run_until_complete(main())
  File "C:\Users\terno\AppData\Local\Programs\Python\Python36\lib\asyncio\base_events.py", line 468, in run_until_complete
    return future.result()
  File "C:\Users\terno\Desktop\async\main.py", line 33, in main
    print(await getResponse("https://ifconfig.me/ip", "207.154.237.71:3128"))
  File "C:\Users\terno\Desktop\async\main.py", line 27, in getResponse
    async with session.get(url) as response:
  File "C:\Users\terno\AppData\Local\Programs\Python\Python36\lib\site-packages\aiohttp\client.py", line 779, in __aenter__
    self._resp = await self._coro
  File "C:\Users\terno\AppData\Local\Programs\Python\Python36\lib\site-packages\aiohttp\client.py", line 319, in _request
    traces=traces
TypeError: connect() missing 1 required positional argument: 'timeout'

[Web Dentist]

Ternick, Я вас удивлю, но у меня этот код работает

[Ternick]

Web Dentist, Я видимо вас тоже, какая у вас версия питона/версия aiohttp ?

[Web Dentist]

Ternick, Да, вы правы, у меня aiohttp 3.6, сейчас установил такую же как у вас, посмотрим

[Web Dentist]

Ternick,

class CustomProxyConnector(ProxyConnector):

    async def connect(self, req, traces):
        if self._proxy_type.is_http():
            req.update_proxy(self.proxy_url.with_scheme('http'), None,
                             req.proxy_headers)
        return await super(ProxyConnector, self).connect(
            req=req, traces=traces)

conn = CustomProxyConnector.from_url(url=proxy)
async with aiohttp.ClientSession(connector=conn
                                     ) as session:

[Web Dentist]

Ternick, Дожно работать

[Ternick]

Web Dentist, Да, спасибо, теперь работает :)

Answer 2

[antonksa]

https://github.com/aio-libs/aiohttp/issues/2722
https://github.com/aio-libs/aiohttp/issues/845#iss...



Похоже Вам придется таки поднапрячься и написать десять строчек.

Comments

[Ternick]

Ну я так и понял, на всякий случай решил уточнить может уже есть решение :)
Спасибо :P