Как мигрировать хранилище работающего приложения?

Question

[Сергей Соколов]

Есть приложение, постоянно взаимодействующее с большим количеством мелких файлов в локальной файловой системе сервера и нескольких, смонтированных по NFS, папках с соседних серверов.

Дешевле будет переехать на S3-подобное хранилище. Дело происходит в DigitalOcean, у них есть "Spaces", работающие по протоколу AWS S3.

Есть сомнение в скорости доступа: возможно, работа со Spaces будет медленнее, чем прямой доступ к файлам через NFS и локальным.

1. Как собрать статистически достоверные цифры скорости «как это будет, когда переедем»?

И если провал скорости не в полтора и более раз затормозит работу, то надо переезжать. А это ощутимое по времени занятие, на пару часов.

2. Как переехать без downtime?

С файлами работает PHP код. Готова имплементация интерфейса и для локально доступных файлов и для S3 API. Кроме того, S3 можно смонтировать как локальный маунт.

Думал о том, чтобы для контрольной выборки файлов, скажем, 5%, включить дублирующую работу и с локальными и с S3 файлами и посчитать увеличение времени.

Answer 1

[Иван Шумов]

1. работа с любым s3 хранилищем будет медленнее чем подключение диска, но все надо смотреть для каких задач вы это делаете.

2. я бы советовал посмотреть на переезд напрямую в AWS через AWS Storage Gateway.

3. В AWS вы много инструментов найдете для Transfer Acceleration в и из S3

Comments

[Сергей Соколов]

использование файлов:
read – при визитах заинтересованных пользователей, скажем, 10 раз в сутки;
write/replace – раз в 12 часов. От скорости записи в т.ч. зависит общая скорость обновлений, т.к. обновляются все файлы общим потоком по кругу.

Задержка чтения даже на 2 секунды, наверное, некритична.
Задержка всех записей на 2 секунды каждая сильно замедлит цикл обновления, но тот параллелится и выигрыш от перехода на облачное хранилище перевесит.

[Иван Шумов]

Сергей Соколов, отдавайте клиентам объекты через cdn с кэшированием после переезда (или даже до чтобы убрать в ноль downtime)
для синхронизации опять же storage gateway отличная штука. Чтобы не делать это руками