Загрузчик файлов на Amazon (S3 storage)?

Question

[Vlad]

Приветствую.


Товарищи, подскажите, пожалуйста, загрузчик файлов на Amazon S3 (PHP + JS), в котором непосредственно можно было бы отследить процесс загрузки.


Делал через промежуточное хранение на своём сервере через swf uploader и curl (то есть процесс загрузки на свой сервер отследить не проблема, а передачу на Amazon — проблема). Хотелось бы сделать без промежуточного хранения, желательно, не светивши имя букета и секретный ключ (такой нашел).


Или подскажите, пожалуйста, в каком направлении копать.

Comments

[Vlad]

UPD: схема такая. Пользователь заходит на сайт, выбирает что загрузить (картинку, к примеру), жмёт кнопку сабмита и выбранный файл загружается напрямую на Amazon ебз промежуточной загрузки на мой сервер.

Answer 1

[AlexeyK]

Есть готовые решения на базе uploadify, погуглите по запросу «amazon s3 direct upload», чтобы не играть в испорченный телефон

Comments

[Vlad]

Благодарю, буду смотреть.

Answer 2

[Lachezis]

Писал свой непрозрачный загрузчик для хранилищ в Amazon S3, Rackspace cloudFiles, FTP и local. Очень легко расширяется для любого внешнего хранилища с АПИ.

Общий смысл в том что можно перемещать файлы вообще не думая что с ними происходит, просто меняешь контейнер, а файл уже сам перекидывается куда нужно.

Поддерживает: upload, rename, replace, delete, isExists, objectSize и перемещение файла между нелокальными хранилищами без дополнительных реверансов.

Система проверенная, около 4ТБ данных через себя уже пропустила (Amazon EC2 -> EC3), есть система верификации загрузки.

Если будет необходимость — пишите в ПМ (пока только по личному соглашению), я думаю потом выложить статью на Хабр, но для этого нужно отцепить компонент от фреймфорка.

Comments

[Lachezis]

А тьфу, вам напрямую…

Answer 3

[Britannic]

Заливал с помощью WinSCP
P.S. надеюсь что правильно понял Ваш вопрос

Comments

[Vlad]

Буду знать о софтине, спасибо. Но немножко не то. Уточнил в вопросе.

[Boris Rozenshteyn]

Разве WinSCP поддерживает протокол Amazon s3? Я не смог найти такую версию. Подскажите ссылку?

[Britannic]

Я использую этот дистрибутив: dl.dropbox.com/u/6377483/winscp428setup.exe

[Boris Rozenshteyn]

И где тут протокол Амазона? http://dl.dropbox.com/u/3509360/Images/winscp.png

[Britannic]

Почему бы не использовать sftp?

[Boris Rozenshteyn]

Amazon S3 не поддерживает sftp. Видимо, вы пользуетесь другим сервисом Амазона…

[Britannic]

shame on me

[jursovet]

Есть еще cyberduck. Сам не использовал, но по описанию интересная штука.

Answer 4

[g00d]

Вы хотите Amazon в качестве CDN использовать? а разве размер жесткого диска там не дорогой?

поделитесь информацией :) спасибо.

Comments

[Vlad]

2 копейки за ведро.
Цены

Вкратце — чем больше сторедж и трафик, тем в итоге дешевле гигабайт.

[g00d]

ага точно это я перепутал с другим сервисов амазона :)

Answer 5

[for93t]

s3.amazonaws.com/s3fm/index.html

Answer 6

[odiszapc]

А разве API Амазона позволяет обращаться из JS? Не, я просто не в курсе, аплоад там идет через REST и SOAP.
Да и вообще не безопасно это. Код, который рулит загрузкой знает секретный ключ. А как вы будете контрлировать кто и сколько загрузил? Почему вам нужна именно прямая загрузка?

Comments

[Vlad]

Через Uploadify можно. Там есть access key и secret key.

Access Key ID—Your Access Key ID identifies you as the party responsible for service requests. You include it in each request, so it's not a secret.

Короче, он не секретен. Secret key для управления букетами нигде не светится, коннект идёт через PHP-файл. В JS он не отображается, а забит в константу в конфиге. Прямая загрузка нужна для того, чтобы не забивать свой сервер промежуточными файлами и не грузить лишними запросами (пересылка на амазон), плюс это сокращает время ожидания пользователем конечной загрузки (то есть фагрузка производится один раз, а не два). В кроне делать не хотелось, хочется реалтайма. В принципе решение уже опробую. Как сделаю — напишу здесь.