Функция glob() в PHP?

Question

[Vertex]

Буквально недавно в проекте потребовалась функция поиска файлов по маске glob(). Но вот пока в раздумьях, стоит ли ее использовать, и насколько сильно она грузит сервер.


Задача такова:

Есть объект, предположим, автомобиль, у него есть 20-30 фотографий, которые складируются в 5 папок с разными размерами. Соответетсвенно при наличии в базе 20-30000 объектов фотографий может быть примерно около 150-200 000 файлов. Поиск по маске будет выполняться нечто типа такой: "/path/photos/[obj_id]_*.jpg" Так вот, что-то меня очень сильно смущает в использовании этой функции… И нигде не могу нарыть информацию о нагрузках.

Answer 1

[DevMan]

Создаём 200к файлов:

#!/bin/bash

dir="/test"

ctr=1
range=30000
while [  ${ctr} -lt 200001 ]; do
	id=${RANDOM}
	let "id %= ${range}"
	`touch "${dir}/${id}_${ctr}.jpg"`
	let ctr=ctr+1 
done

Проверяем:

~> ./test_glob
~> ls -1 /test | wc -l
200000

Тестируем производительность:

<?php

$dir = '/test/';
$id = rand( 1, 30000 );
$pattern = $dir . $id . '_*.jpg';

$time_start = microtime(true);

$photos = glob( $pattern );

$time_end = microtime(true);
$time = $time_end - $time_start;

echo 'execution time is ', $time, ' seconds', PHP_EOL;

print_r($photos);

~> php ./test_glob.php 
execution time is 0.15708804130554 seconds
Array
(
    [0] => /test/23513_10050.jpg
    [1] => /test/23513_10631.jpg
    [2] => /test/23513_121888.jpg
    [3] => /test/23513_150044.jpg
    [4] => /test/23513_167985.jpg
    [5] => /test/23513_185798.jpg
    [6] => /test/23513_188480.jpg
    [7] => /test/23513_193143.jpg
    [8] => /test/23513_68603.jpg
)

Делаем выводы.

Comments

[Vertex]

Громадное спасибо за пример!.. А еще я понял что надо учить bash… )))

[DevMan]

В принципе, создать файлы можно было и на PHP ( функция touch() ).
Но и изучение чего-либо нового лишним не будет :)

Answer 2

[Владимир Чернышев]

Имхо, хранить 200 000 файлов в папке не самая лучшая идея. я бы сделал структуру папок вроде 12/34/56/78/90/*.jpg, где 1234567890 — obj_id. Хотя, конечно, сильно зависит от ФС и свободной памяти на сервере

Comments

[DevMan]

Нормальная идея, если фс не допотопная и не нужно получать листинг директории.

[Владимир Чернышев]

Насчёт ФС я упомянул, чтоб подстраховаться от нападок типа «последнему ночному билду ***fs всё равно 20 файлов, 200, 200000 или 2000000000 в каталоге, оно хранит их в ОЗУ» :)

Answer 3

[AndryX]

Выполнять её будет накладно, но вы же можете это протестировать и самостоятельно (небольшой тест-скрипт). Лучше проиндексируйте текущие файлы в базу, а новые заносите туда сразу же, после добавления…

Answer 4

[burdakovd]

Не знаю, исправили ли уже, но habrahabr.ru/blogs/infosecurity/105894/

Comments

[burdakovd]

Хотя я кажется невнимательно прочитал вопрос. Если у вас маска не вводится пользователям, а заданного формата типа /path/photos/[obj_id]_*.jpg, то всё ок.

Хотя я бы сделал это на уровне директорий, то есть выбирать _все_ файлы из директории /path/photos/[obj_id]