Как перенести большой объем файлов с одного диска на другой?

Question

[iBird Rose]

В общем есть сервер, на котором сайт. В нем хранятся данные юзеров. Файлов уже свыше 3-х млн. ~2ТБ объем. Данные конечно же обновляются и заменяются.
Диск почти переполнен.
Стоит задача добавить хард в сервак и перенести эти данные на него не останавливая работу сайта.
Гугл и поиск на тостере дал понять что нужно ставить приложения синхронизации, но их опять так и много и не совсем понятно оно ли мне нужно.
Помогите пожалуйста выбрать правильный путь. и выбрать приложение, которое будет решать мою задачу и чтобы справилось с такими объемами.

Answer 1

[Melkij]

rsync. Старый проверенный админский молоток.
0) Монтируете оба диска
1) делаете rsync
2) повторяете команду выше до тех пор, пока время работы не придёт к какому-то допустимому промежутку
3) закрываете работу с файлами, старый диск лучше перемонтировать в ro
4) ещё один rsync
5) отмонтируете старый диск, перемонтируете новый на место старого
6) открываете работу с файлами обратно

На случай дальнейшего расширения дисков - поставьте поверх нового диска LVM. Если на старом диске уже есть LVM - то штатные pvinit, vgextend, pvmove, lvresize, vgreduce, pvremove, resizefs
Если у вас всё-таки сервер, то выясните какой стоит raid. Для программного linux raid можно доставить диски большей ёмкости без даунтайма.

Comments

[iBird Rose]

сильно ли изменится алгоритм, если требуется просто эту огромную папку перенести, а не весь диск?
т.е. синхронизировать 2 папки -> в базе изменить пути -> удалить папку с первого диска.

[Павел Аксенов]

iBird Rose: я в подобном совсем не разбираюсь, но что мешает написать скрипт который переносит файлы на новый диск и по каждому файлу создает symbolic link в директории источнике?

[iBird Rose]

Павел Аксенов: как временное решение это бы подошло. но хочется, чтобы был порядок. сейчас хочу подрубить второй диск и там хранить все upload данные и данные юзеров. а на основном оставить только сайт.

[Melkij]

iBird Rose: это и есть перенос содержимого, а не копирование диска. Если менять базовую директорию - уйдёт перемонтирование нового диска в пункте 5, всё остальное сохраняется.

Алгоритм на самом деле простой и сломать его сложно. Даунтайм минут в 10 себе позволить может любой проект. На шаге 2 повторяя вызов rsync после первых 2-3 вызовов вы уже будете знать более точную оценку времени недоступности, может вообще речь идёт об 1 минуте. Средний размер файла у вас небольшой, это не видеоархив тягать.

Если хотите сложностей и приключений - после шага 2:
3) включаете на своём приложении специальный код, который будет писать лог изменённых файлов (! до изменения файлов и отдельная отметка при успешном изменении т.к. необходимо понимать, а не прервался ли процесс)
4) делаете ещё один rsync
5) на приложении начинаете писать изменения файлов и в старом месте и в новом
6) идёте по логу и проверяете, что файлы на старом и новом месте идентичны
7) в приложении читаете только с нового хранилища, писать продолжаете оба
8) повторить п.6
9) выключить код логирования и использования старого диска
Получится ли без даунтайма или вы где-то ошибётесь и покоцаете файлы - вопрос.

Answer 2

[nikolayvaganov]

rsync