В принципе, контейнер весьма точно, но немного по-гиковски (хотя другие особо и не пользуются S3) и не очень по-русски. Хранилище — что-то среднее, между точностью и звучностью.
Контейнер нормально. По крайней мере, контейнер это что-то отдельное, чего может быть много, а хранилище оно одно большое. То есть «создавать/удалять контейнеры» — нормально, а создавать хранилища — коряво-коряво, имхо.
«хранилище» мне кажется менее удачным из-за того, что хранилищем (storage) часто называют всю совокупность bucket'ов всех пользователей или, более широко, любую службу хранения контента (например, «хранилище DropBox» или «хранилище провайдера X).