Как в Python скачать файл прямо на диск?

Question

[Denis Verbin]

Есть такая конструкция, которая качает файл и сохраняет локально на диск.

open(os.path.join(savepath(out_file_name)), 'wb').write(urllib2.urlopen(download_url + out_file_name).read())

При загрузке файла он качается в оперативную память, а после окончания загрузки кладется на локальный диск. Дело в том, что файл достаточно большой и может вырасти. Как можно качать файл и сразу сохранять на диск без активного использования RAM?

Answer 1

[Roman K]

Ну или так.

import requests

with open(os.path.join(savepath(out_file_name)), 'wb') as out_stream:
    req = requests.get(download_url + out_file_name, stream=True)
    for chunk in req.iter_content(1024):  # Куски по 1 КБ
        out_stream.write(chunk)

Answer 2

[Роман]

Примерно так:

nbytes = 100 # читаем по 100 байт
with open(os.path.join(savepath(out_file_name)), 'wb') as out_stream,\
     urllib2.urlopen(download_url + out_file_name) as in_stream:
    while True:
        chunk = in_stream.read(nbytes)
        if chunk == '':
            break
        out_stream.write(chunk)

Answer 3

[Роман Бархоленко]

самый простой:

import urllib
urllib.urlretrieve('https://toster.ru/q/216339', 'out.txt')

Comments

[Роман]

Да, действительно, самый простой способ. Хотя под капотом делает то же, что написано выше: читает по 1024*8 байт, и пишет их.

[Denis Verbin]

Проблема данного метода - нельзя отловить 404, если запрашиваемого файла на сервере нет - в файл назначение запишется HTTP ответ сервера
....
The requested URL /video/video2.mp4 was not found on this server.
...

[Роман Бархоленко]

Denis Verbin: это не проблема метода. он делает то, что должен - загружает содержимое ответа в файл. Просто в вашем случае он не подходит