Как мне сделать, чтобы код скачал полную информацию из ссылок?

Question

[Ruslan Mordovanech]

import asyncio
import uuid
import aiohttp
import async_timeout
import requests

link = 'https://dsa.court.gov.ua/open_data_json.php?json=532'

response = requests.get(link).json()
urls = []
for item in response['Файли']:
    urls.append(list(item.values())[0])

async def get_url(url, session):
  file_name = str(uuid.uuid4())
  async with async_timeout.timeout(120):
    async with session.get(url) as response:
      with open(file_name, 'wb') as fd:
        async for data in response.content.iter_chunked(9000):
          fd.write(data)
          return 'Successfully downloaded ' + file_name

async def main(urls):
  async with aiohttp.ClientSession() as session:
    tasks = [get_url(url, session) for url in urls]
    return await asyncio.gather(*tasks)

urls = urls
loop = asyncio.get_event_loop()
results = loop.run_until_complete(main(urls))
print('\n'.join(results))

Все силки скатываются но не закачивают до конца.
Файлы слегка записаны. Я так понял процесс скачивания обрывается. И почему-то оно не видит его как csv.

Answer 1

[Влад Григорьев]

async def get_url(url, session):
  file_name = str(uuid.uuid4())
  async with async_timeout.timeout(120):
    async with session.get(url) as response:
      with open(file_name, 'wb') as fd:
        async for data in response.content.iter_chunked(9000):
          fd.write(data)
          return 'Successfully downloaded ' + file_name - вот тут вы выходите из цикла и функции и скачиваете один только блок

Вот так скачали завершили функциию 
                async for data in response.content.iter_chunked(9000):
                    fd.write(data)
                    print(data)
                return 'Successfully downloaded ' + file_name

Comments

[Ruslan Mordovanech]

Спасибо. !
Я так понял что urls = urls уже не нужно прописывать .

[Влад Григорьев]

Ruslan Mordovanech, да это не имеет никакого смысла

[Ruslan Mordovanech]

Влад Григорьев,

async def main(urls):
  async with aiohttp.ClientSession() as session:
    tasks = [get_url(url, session) for url in urls]
    return await asyncio.gather(*tasks)

urls = urls
loop = asyncio.get_event_loop()
results = loop.run_until_complete(main(urls))
print('\n'.join(results))


Без этого кода оно не хочет качать но все равно не скачивает все файлы(

[Влад Григорьев]

Ruslan Mordovanech, логично, я же поправил только одну функцию, не плохо бы подтянуть основы, что бы было понимание как все работает

[Ruslan Mordovanech]

Влад Григорьев, Спасибо щас попробую.

Answer 2

[Ruslan Mordovanech]

import requests
from multiprocessing.pool import ThreadPool

link = 'https://dsa.court.gov.ua/open_data_json.php?json=532'

response = requests.get(link).json()
urls = []
for item in response['Файли']:
    urls.append(list(item.values())[0])

def download_url(url):
  print("downloading: ",url)
  file_name_start_pos = url.rfind("/") + 1
  file_name = url[file_name_start_pos:]

  r = requests.get(url, stream=True)
  if r.status_code == requests.codes.ok:
    with open(file_name, 'wb') as f:
      for data in r:
        f.write(data)
  return url

urls =  urls

results = ThreadPool(5).imap_unordered(download_url, urls)
for r in results:
    print(r)

Нашел код качающий одновременно все силки и без перебоев. Нужно протестовать

Comments

[Ruslan Mordovanech]

import os

urls = open('pages.txt', 'r')
for i, url in enumerate(urls):
    path = '/users/user/Downloads/{}'.format(os.path.basename(url)
    urllib.request.urlretrieve(url, path)

Єтот код может заменить этот

link = 'https://dsa.court.gov.ua/open_data_json.php?json=532'

response = requests.get(link).json()
urls = []
for item in response['Файли']:
    urls.append(list(item.values())[0])