S3: Есть ли возможность получить количество всех объектов в папке бакета не выгружая все эти объекты в память?

Question

[Twitt]

Вопрос касательно Amazon S3.
У меня есть бакет, есть нужная папка, мне нужно получить количество объектов в ней не выгружая их всех в память. Возможно ли это сделать? Юзаю AWS SDK PHP, но пока что нашел вариант ListObjects, и сделать count всех элементов, что как раз и пригружает память, а я хочу этого избежать, и получить в ответе только цифру количества элементов

Answer 1

[Иван Шумов]

Только через list с фильтром. И ещё, в s3 нет директорий и никогда не было - это все симуляция для не окрепшего мозга людей, живущих с папочками на своем компьютере

Comments

[Иван Шумов]

Nikolay Petyukh, Большинство людей об этом не знают, не говоря о том что все-равно большинство сидит под виндой

[Twitt]

Иван Шумов, о каком фильтре идет речь именно?

[Иван Шумов]

Twitt, Параметр Prefix

[Twitt]

Иван Шумов, нуу.. допустим, я в ListObjects передаю bucket и prefix, допустим prefix = “uploads/imgs/“ (а там допустим около 50к файлов), оно разве не выгрузит все данные из uploads/imgs в память мне?

[Иван Шумов]

Twitt, Keymaker это нужный тебе параметр) забирать новый из ответа, с NextKeyMarker. Ты бы хоть документацию прочитал

[Vitaly Karasik]

Nikolay Petyukh, в конечном счете все симуляция, и в виндоус тоже.
Многие говорят, мы вообще в матрице живем :-)

Answer 2

[mlstart]

public function count_files_in_folder($folder = '')
    {
        $total = 0;
        $prefix = rtrim($this->project_dir . '/' . $folder, '/') . '/';

        $results = $this->s3->getPaginator('ListObjects', [
            'Bucket' => $this->bucket_name,
            'Prefix' => $prefix
        ]);

        foreach ($results as $result) {
            foreach ($result['Contents'] as $object) {
                if (!(substr($object['Key'], -1) === '/' && (int)$object['Size'] === 0)) {
                    $total++;
                }
            }
        }

        return $total;
    }