Как скачивать только измененный файл с curl или wget?

Question

[amirkhonov]

Здравствуйте!
Мне нужно скачивать архивы из репозитория (например, https://downloads.wordpress.org/plugin/disable-com... только тогда, когда файл на сервере имеет другой размер (Content-Length). Скрипт написан на Python.

downloads.wordpress.org отдает все необходимые данные, чтобы узнать когда был изменен файл и о его размере:

Status: HTTP/1.1 200 OK
Server:	nginx	
Date:	Mon, 15 Aug 2016 06:30:46 GMT	
Content-Type:	application/zip	
Content-Length:	80828	
Connection:	close	
Cache-control:	private	
Content-Disposition:	attachment; filename=disable-comments.zip	
Last-Modified:	Fri, 12 Aug 2016 09:46:22 GMT	
X-Frame-Options:	SAMEORIGIN	
X-nc:	BYPASS lax 189	
Accept-Ranges:	bytes

Пробовал wget, aria2c, curl с помощью библиотеки os питона:
1. Wget и aria2c не получают файл/игнорирует его, т.к. такой файл уже есть в локальном каталоге. (юзаю ключ -N для wget)
2. C curl вообще не получается у меня. Она тупо скачиват файл и переписывает (curl url --output /folder/1.zip).

Мне кажется, я неправильно пользуюсь возможностями данных утилит. Можно ли реализовать такую задачу с помощью библиотек python без вызова os?

Прошу помочь разобраться с этим. Спасибо заранее.

P.S. Хотелось бы решить проблему с wget,curl, чтобы они не скачивали актуальный файл на локалке.

Comments

[amirkhonov]

Проблема решена. Я неправильно определял список актуальных файлов. wget -N прекрасно справилась с задачей. Спасибо.

Answer 1

[Вадим Яковлев]

Ну вариантов много.
Что касается Python, то вот примерный алгоритм для решения вашей задачи:
1) Берем модуль requests (для простоты)
2) запрашиваем через него заголовки для вашего файла (r = requests.head('example.com'))
3) Сравниваем content-length с размером вашего файла
4) Если отличается, скачиваем файл
5) ...
6) Profit

P.S.: Wget и Curl тоже поддерживают получение только хедеров
для wget - это параметр "--server-response"
для curl - это параметр '-head'

Comments

[amirkhonov]

Не хотел увеличить кол-во запросов с моей стороны, но придется использоваться рекомендованного метода. Спасибо.

[Вадим Яковлев]

Можно, в принципе, делать в условно 1 "запрос", но тогда вместе с запросом вы получите и весь файл. И если я правильно понял, то требуется скачивать (получать содержимое) файл только если он изменен. Менее чем в 2 этапа это реализовать не получится.