У меня есть допустим 1000 url мне надо делать запросы к ним, использую для этого aiohttp, вот так выглядит подключения в котором постоянно возникает ошибка:
async with aiohttp.ClientSession() as session:
for url_sitemap in item:
async with session.get(f'{url_sitemap}') as resp:
if resp.status == 404:
break
soup = BeautifulSoup(await resp.text(), 'xml')
На данный момент я пришел к тому что одна и таже ошибка возникает в одном и том же месте:
Traceback (most recent call last):
File "...", line 115, in <module>
asyncio.run(main())
File "...", line 44, in run
return loop.run_until_complete(main)
File "....", line 649, in run_until_complete
return future.result()
File "...", line 38, in main
await asyncio.gather(*tasks_get_amount_urls)
File "...", line 57, in get_amount_urls
soup = BeautifulSoup(await resp.text(), 'xml')
File "...", line 1081, in text
await self.read()
File "...", line 1037, in read
self._body = await self.content.read()
File "...", line 375, in read
block = await self.readany()
File "...", line 397, in readany
await self._wait("readany")
File "...", line 304, in _wait
await waiter
aiohttp.client_exceptions.ClientPayloadError: Response payload is not completed
Читал на форумах, но ничего не подошло
