@Maxwell012

Почему aiohttp запрос не работает?

Есть запрос на requests - он работает идеально, мне надо написать на aiohttp - я переписал запрос, но запрос не может достучаться до сервака и кидает ошибку таймаута. Второй раз столкнулся с данной ошибкой, в гугле не смог найти ответа, а на форуме данные вопросы без ответа
Мой код:
async def get_proxy():
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/107.0.0.0 Safari/537.36'
    }

    url = 'https://free-proxy-list.net/'

    async with aiohttp.ClientSession() as session:
        response = await session.get(url, headers=headers)

    soup = BeautifulSoup(await response.text(), 'html.parser')
    proxy = (soup.find('textarea').text.split())[9:]
    print(proxy)
    return proxy

Код ошибки:
Traceback (most recent call last):
  File "C:\Users\David\Desktop\tmp_project\cool_features\proxy\free_proxy_list_net.py", line 26, in <module>
    asyncio.run(get_proxy())
  File "D:\Program files\Python\lib\asyncio\runners.py", line 44, in run
    return loop.run_until_complete(main)
  File "D:\Program files\Python\lib\asyncio\base_events.py", line 649, in run_until_complete
    return future.result()
  File "C:\Users\David\Desktop\tmp_project\cool_features\proxy\free_proxy_list_net.py", line 19, in get_proxy
    soup = BeautifulSoup(await response.text(), 'html.parser')
  File "C:\Users\David\Desktop\tmp_project\cool_features\proxy\venv\lib\site-packages\aiohttp\client_reqrep.py", line 1081, in text
    await self.read()
  File "C:\Users\David\Desktop\tmp_project\cool_features\proxy\venv\lib\site-packages\aiohttp\client_reqrep.py", line 1037, in read
    self._body = await self.content.read()
  File "C:\Users\David\Desktop\tmp_project\cool_features\proxy\venv\lib\site-packages\aiohttp\streams.py", line 375, in read
    block = await self.readany()
  File "C:\Users\David\Desktop\tmp_project\cool_features\proxy\venv\lib\site-packages\aiohttp\streams.py", line 397, in readany
    await self._wait("readany")
  File "C:\Users\David\Desktop\tmp_project\cool_features\proxy\venv\lib\site-packages\aiohttp\streams.py", line 303, in _wait
    with self._timer:
  File "C:\Users\David\Desktop\tmp_project\cool_features\proxy\venv\lib\site-packages\aiohttp\helpers.py", line 720, in __exit__
    raise asyncio.TimeoutError from None
asyncio.exceptions.TimeoutError
  • Вопрос задан
  • 27 просмотров
Пригласить эксперта
Ответы на вопрос 1
@Maxwell012 Автор вопроса
Решил проблему тем что перенес всю работу с response на уровень выше, то есть в сессию
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы