Rsync приоритеты загрузки?

Question

[lastkrick]

Посоветуйте, пожалуйста, способ указания порядка загрузки файлов для rsync.

Нужно скопировать каталог так, чтобы один конкретный файл скачался самым последним.

Вариант запускать два раза rsync(сначала для всего каталога, а потом для этого файла) отпадает потому что каталог большой и во время копирования может что-то измениться.

Answer 1

[Алексей Акулович]

А получить список файлов, как надо его отсортировать, а потом передать в rsync через --include-from например?

Comments

[lastkrick]

Список файлов получить не получится, потому что их ОЧЕНЬ МНОГО и это потребует существенных затрат времени.
К тому же, разве rsync берёт список файлов для скачивания по порядку из --include-from?

Answer 2

[4dmonster]

разбейте на 3 шага:
1й — rsync каталога кроме «один конкретный файл»
2й — rsync «один конкретный файл»
3й — rsync каталога кроме «один конкретный файл»

или так тоже нельзя?

Comments

[4dmonster]

а лучше как обычно, опишите настоящую задачу, а не предполагаемй вами способ решения.
может вам луше вообще снапшоты использовать?

[4dmonster]

а если место на диске не критично — BATCH MODE попробовать можно.

[lastkrick]

Задача такова:
Есть много RPM-репозиториев, доступ к которым только по sftp.
Мне нужно держать локальные зеркала всех репозиториев, чтобы дальше проиндексировать пакеты в них и т.д. и т.п.
Индексация запускается при изменении файла repomd.xml. Так вот, если этот файл скачать раньше, чем все пакеты в репозитории, то посыпятся ошибки потому что приложение попытается работать с файлами которых еще нет.

Снапшоты не получится делать потому что у меня есть только sftp доступ к этим репозиториям.

[4dmonster]

а так подойдёт? (я так не делал)
1. на локалке создаёте при помощи хард-ссылок локальную копию целевой папки
2. пишете BATCH MODE без апдейтов на локльную копию
3. запускаете BATCH MODE обновление целевой папки по созданому на 2 шаге файлу

[4dmonster]

ну и как вариант, поставить прокши для репозиториев, для deb такое есть, наверняка и для rpm должно быть

[lastkrick]

Да, возможно, это единственный вариант.

Answer 3

[Alexander Lebedev]

Как вариант, скачивать из репозиториев только *rpm. И с помощью createrepo для новых rhel и fedora или yum-arch для rhel3 создавать собственные файлы каталога репозитория. На сколько я понимаю ваша задача создать репозиторий в локальной сети, чтобы обновлять несколько серверов без доступа в интернет.

Comments

[lastkrick]

createrepo на больших репозиториях работает долго и каждый раз пересоздавать метаданные, а потом заново индексировать не вариант.