Зависимость скорости работы сервера от кол-ва файлов в папке?

Question

[pel0tkin]

Гуру *nix систем, подскажите, как зависит скорость работы сайта от кол-ва файлов в папках?



У меня есть сайт с 10К изображений в одной папке и это количество быстро растет.

Стоит-ли думать о разделении хранилища изображений?

Answer 1

[osdyng]

Зависит от файловой системы. Для ext3/ext4 большое количество файлов не проблема.
Разделять нужно обязательно, т.к. будет удобней бекапить, обслуживать и разрабатывать.

Answer 2

[nill]

Файловая система загружается от общего количества файлов на диске(не значительно) и частоты доступа к ним, количество файлов в папке ей по барабану.

Comments

[pel0tkin]

В папке с тестовым сайтом (Joomla+Virtuemart), вместе с изображениями ~15К файлов и я планирую довести количество до 150-200К, сам сайт крутится вполне шустро после оптимизации движка. Но в панели управления хостера папка c картинками товаров открывается около 30 секунд, тогда как другие — мгновенно

Хочу на практике посмотреть возможности Joomla.

[nill]

Просто не нужно путать загрузку всей папки целиком и загрузку десятка изображений для нужд сайта. Но если Вы хотите, чтобы было все совсем быстро используйте RAID или SSD и будет вам счастье.

[pel0tkin]

Ну в данный момент меня устраивает скорость работы. Я «на будущее» интересуюсь.
Сейчас, максимум, 50 изображений на страницу выводится из этой папки.

Answer 3

[Евгений]

Обязательно разделите. С ростом кол-ва файлов в одном каталоге вы и сами заметите медленный доступ к конкретному файлу по его полному пути, создайте пару уровней подкатегорий, чтоб не столкнуться с этой проблемой.
А на счёт панели управления хостера, тут немного другая ситуация. Панель сканирует содержимое вашей папки, учитывая количество файлов на это уходит какое-то время.

Comments

[ainu]

А я вот слышал, что в ext4 такое пофиксили.

[VBart]

Гм, в ext3/ext4 есть опция dir_index, если она включена, то все ок, время поиска будет примерно O(1).

Answer 4

[Пума Тайланд]

Надо делить, на миллионе когда будет опрашиваться папка, будет виден лаг.

Comments

[pel0tkin]

Пока буду заливать миллион картинок я выучу язык запросов mysql и напишу супер-пупер-запрос, который допишет к пути картинки значение категории товара.

Answer 5

[Karen Kratyan]

Если я не ошибаюсь — в nix системах — всё есть файлы: папки, порты, устройства и тд. Поэтому ей пофиг. Файлы сохраняются на диске, не зависимо от папок.
Но я бы рекомендовал разделять по папкам. Представьте, что вы будете работать(посмотреть, удалить и т.д.) со списком файлов в 50k+, например.

Answer 6

[durach]

Мы в проекте с ОЧЕНЬ большим кол-вом файлов зачем-то делили на папки вида вместо имени abcdefgh => a/b/c/abcdefgh. CTO наш сказал что так быстрее работает. Хотя я не проверял на практике.

То что проверял, то зайти в папку тем же MC с 10К файлов — не так просто…

Comments

[pomeo]

это не «зачем-то» а необходимость, у всех есть ограничение на количество файлов в одной директории, например ext3/ext4 32,000/64,000 соответственно, больше не запихнете

[DevMan]

Не вводите в заблуждение — это ограничение не на кол-во файлов, а поддиректорий.
на ext4 кол-во файлов в директории упирается только в лимиты inode.

[Karen Kratyan]

Ограничение количества файлов в 1 директории НЕТ. Есть ограничение количества файлов в 1-ом разделе/томе.

Answer 7

[odmin4eg]

я у себя делю по дате.
/images/2010/1/
/images/2011/10/
и т.п. боюсь считать сколько у меня там файлов, но возможночти терабайтного винта по inode я уже исчерпал на 50%

Comments

[pel0tkin]

Стандартные возможности компонента Virtuemart не позволяют так распределять изображения. Вот такой костыль нужно туда дописать!

[voooz]

Virtuemart c огромным количеством товара просто нормально и не работает, так что костыль не нужно писать, быстрее проблемы с самим Virtuemart возникнут.

[ainu]

Дополню voooz — для огромных количеств файлов всегда надо писать что-то своё.