В чём разница между S3 CEPH и S3 HCP?

Question

[nokvark]

Доброго времени суток! Я, к сожалению, не являюсь спецом по s3 и aws, но есть рабочая потребность в том, чтобы узнать чем по существу являются s3 CEPH и s3 HCP и в чём их ключевые отличия ? Гуглёжка не дала ощутимых результатов..

Comments

[shurshur]

Любой "аналог" это всегда условность. Дело в том, что S3 - это 1) протокол 2) функционал 3) конкретная реализация.

В своё время тестировал riak cs и в нём не было поддержки S3 SIGv4. К счастью, большинство клиентов S3 поддерживают принудительное использование SIGv2, поэтому было решаемо, но всё же. Это довольно простой и в то же время реальный пример отличий.

Поддержка протокола S3 означает, что сервис умеет отвечать на запросы в соответствии с протоколом, но насколько глубоко он поддерживается? Там можно назначать метаданные файлам, генерировать preshared url или поддерживается lifecycle policy?

С точки зрения функционала вообще есть ли в этом сервисе то, что нужно? Например, умеет ли он вообще удалять файлы по истечении TTL, даже если формальное назначение lifecycle policy проходит без ошибок?

И с точки зрения реализации не факт, что всё будет работать так же, как в AWS. Например, если в AWS положить миллион файлов, то он прожуёт спокойно. А если положить в minio миллион файлов на один уровень вложенности, то будет очень грустно. Всё потому, что minio хранит каждый файл в виде каталога с шифрованным blob и метаданных в json. Запрос списка файлов вызывает миллион вызовов stat, и это ни фига не быстро, особенно на HDD. Причём ни фига не очевидно, что так будет, если исходить только из наличия поддержки S3 и формальной информации о том, что миллион туда положить можно (да, можно, но если класть неправильно, будут нюансы).

Конкретно с Ceph не имел дело, а про HCP вообще первый раз слышу. Привёл общие соображения. Надо смотреть официальную информацию о поддержке фич (что поддерживается и насколько полноценно), гуглить опыт реальных пользователей, ну и, конечно, тестировать в своих условиях.

Answer 1

[Everything_is_not_so_bad]

Про HCP я нагуглил

Hitachi Content Platform (HCP)

что похоже на очередную реализацию протокола S3.
Впрочем, как и Ceph Object Gateway.

Только отличие между ними в том, что HCP - облачная инраструктура и ее поддерживать самостоятельно не нужно, а Ceph можно использовать on premise. Ceph - это не про "установил и забыл".
До определенных объемов дешевле использовать облачное хранилище, не вкладывая ресурсы в инфраструктуру и поддержку.

Answer 2

[Олег Волков]

CEPH это SDS, а вот S3 это протокол. Имплементация базовых функций, и очень далеко от примочек амазона. Про HCP ничего не скажу, не знаю.