AWS S3 — Как сделать пагинацию по страницам?

Question

[driverx18]

Я хочу сделать пагинацию по "страницам". Когда обращаемся к S3, на сервер передавать параметр page, то выбирать 10 000 строк соответсвующей страницы, при условии что на одна страница = 10 000 элементов.
Я использую такое:

$s3client->getPaginator('ListObjects', $arguments)->search('Contents[].Key');

но это не то что надо. Возможно ли как-то сделать пагинацию такой, какой я описал? Например, передавать offset + limit.
Или пагинацию надо делать перегонкой данных во временные хранилища, и потом из этих хранилищ делать пагинацию (например Mongo)?

Answer 1

[Иван Шумов]

Нативными способами это невозможно. Только если хранить у себя в базе список объектов

Comments

[driverx18]

то есть для такой цели нужно костылить, по сути? есть примеры, как это обычно делается?

[Иван Шумов]

driverx18, нет примеров по тому что люди, обычно, делают проекты в облаке не для других и не публикуют подобные решения в паблик. На самом деле это ничем не отличается от обычной работы с БД, просто файлы лежат в S3

[driverx18]

Иван Шумов, да, только я вот чего то не понял. Если у меня очень много данных, порядка пару миллионов, мне нужно выбирать по 10к (исходя из page). Как мне сделать грамотно пагинацию, если нельзя нативно это сделать?

[Иван Шумов]

driverx18, еще раз - нативно в S3 можно только последовательным перебором (там в ListObjects отдается в API токен для продолжения), без конкретной страницы. Для всего остального - делать свое решение, хранить данные про все файлы в базе данных и выбирать оттуда. Число данных никого не волнует

[nokimaro]

Учитывайте что ListObjects в принципе за раз возвращает не более 1000 элементов
https://docs.aws.amazon.com/AmazonS3/latest/API/AP...

И если хотите листать по 10.000 элементов то внутри кода это 10 запросов по 1000, о чём написано здесь
https://docs.aws.amazon.com/sdk-for-php/v3/develop...
https://docs.aws.amazon.com/AmazonS3/latest/dev/Li...

А конкретно за пагинацию отвечают параметры &Marker=Marker&MaxKeys=MaxKeys
https://docs.aws.amazon.com/AmazonS3/latest/API/AP...

То есть прямого аналога offset + limit нет, но MaxKeys + Marker делает что-то аналогичное.

[Иван Шумов]

nokimaro, спасибо за дополнением, но, кажется, автора уже сломало что AWS ему чуда не предлагает)

[Евгений Хлебников]

Вообще (я, кстати, ни разу не девелопер, чтобы если вдруг что сослаться "у одного моего друга, не у меня, есть опыт работы с индексами в S3) в случае необходимости БД-подобных операций AWS всегда предлагал использовать БД в дополнение к S3
Например, хранить индекс в динамо (даже лямбдочки по автозаполнению динамы где то в доках AWS есть) - и уже с индексом работать батчами, следующей операцией читая предложенные объекты.
Однако же, динамо ограничен 100 объектами в батчах и размером выдаваемых объектов, так что и тут не все так однозначно.
Что, впрочем не мешает использовать какую нибудь другую БД вместо динамы

[Иван Шумов]

Евгений, все именно так)

[Евгений Хлебников]

Иван Шумов, ну горячая тема.
Я имею в виду не у меня, у одного моего друга-девелопера. Ну вы поняли :D

[driverx18]

nokimaro, Иван Шумов Евгений ну, я сейчас попробовать реализовать пагинацию нейтив способами S3, и понял что это очень медленно на больших объемах
если речь идет про 100к элементов, и я хочу сделать разбивку по страницам, где 1 страница = 10 000 элементов, и пользователь указывает, допустим что хочет получить элементы с 9 страницы, то AWS придется пройтись 9000 раз, прежде чем взять 10к элементов с отступом в 90 000 элементов, потому что мне нужно будет задать Marker, а чтобы получить его, мне придется получить NextMaker, который я смогу получить только при условии если я пройдусь по всем прошлым элементам. И это по сути заставляет меня искать пути обхода (Dynamo, Mongo).
Я же правильно всё понял?

[Иван Шумов]

driverx18, правильно. Именно поэтому не надо заколачивать гвозди микроскопом и использовать инструмент для не подходящей для него задачи