Как синхронизировать локальную папку на Amazon S3?

Question

[Сергей Соколов]

На CentOS сервере крутится Wordpress, и принимает аплоады медиа файлов в некую папку. Надо синхронизировать её в букет на S3, т.к. именно оттуда файлы раздаются посетителям сайта. Появление загруженного файла на S3 ожидается почти-сразу же, т.к. по ссылке именно оттуда он подгружается в черновик поста. Поэтому cron раз-в-5-минут не вариант, например.

1. Первая попытка, по-простому: с помощью FUSE и S3FS букет монировался как устройство, и на файлы загружались прямо в него. Оказалось, плохо: медленно, и часто случались ошибки обработки загружаемых файлов.
   
2. Второй шаг: стали держать локальную папку, в которую происходит загрузка; её с помощью lsyncd синхронизировали в смонтированный S3 букет. Лучше, но иногда происходят случайные, неуловимые ошибки, и некоторые файлы не проходят, оказываясь в букете с нулевым размером. И позже, эти нулевые файлы так и не обновляются до полноразмерной версии.
   

Поэтому сейчас в поисках «третьего» варианта. Как синхронизировать аплоады, с минимальным лэгом, и с бетонной надёжностью, с локальной папки в букет на Амазоне?


Подвохи:

• удалённая FS смонтированного S3 букета работает далеко не мгновенно, копирование одного mp3 может занять неск. секунд;
  
• в момент синхронизации некоторые файлы могут быть открыты — скажем, их сейчас прямо кто-то догружает на сервер, или картинки уменьшаются и записываются их уменьшенные копии.
  

Answer 1

[shadowalone]

s3cmd попробуйте

s3cmd sync LOCAL_DIR s3://BUCKET[/PREFIX]

Comments

[Сергей Соколов]

s3cmd установлен, но он для ручной работы, а нужно, чтобы авторы блога в любой момент загружали файлы, и не проходило много времени между загрузкой и появлением в S3. Даже cron поэтому плохой вариант.

[shadowalone]

inotify + s3cmd sync — чем не вариант?

[shadowalone]

Ну и еще как вариант, написать/найти плагин для WP, который будет сразу грузить в S3 — почти уверен что такой уже есть.

[Сергей Соколов]

Наверное, вариант. Как сузить область синхронизации до загруженного файла? Блог большой, много лет, тысячи файлов на каждый месяц. Синхронизировать с Амазоном надо только папку текущего месяца, или, в идеале, прямо указывать, какой файл загрузить. Это возможно?

[shadowalone]

> Как сузить область синхронизации до загруженного файла?
inotify настроить на событие, но тогда уже делать не sync, а put.

[Пума Тайланд]

Что мешает вам написать в скрипте синкать только текущий месяц?

Answer 2

[Paul]

Можешь попробовать мой проект: RioFS - позволяет монтировать S3 букет как локальную папку.
Но есть несколько ограничений, одно из них - не поддерживается "дозапись" данных в файлы. Тоесть если ты записал данные в файл и закрыл его - то в дальнейшем нельзя его открыть и дописать что-то в конец.
Но обычно это не требуется. Например у нас работает proftpd сервер, который записывает файлы в RioFS папку (где-то 10Gb в день средних по размеру файлов).