Как количество файлов влияет на работу сервера?

Question

[Юлия]

Искала но так и не нашла четкого ответа, как колличество директорий и файлов влиет на работу сервера и насколько ощутима будет разница, если будет, при количестве директорий около 300тыс, в каждой по несколько (до 20) файлов. то что нельзя их все в одну диреторию класть я уже поняла, ну а если они разбиты по каталогам? насколько актуальный этот вопрс, чтобы скажем подумать о том чтобы хранить файлы на другом сервере.
и второй вопрос - связанный. при доступе к сайту обычно обрабатывают чпу-урл через пхп и ищут в базе, у меня всегда был вопрос почему не создавать реальные директории и в них класть php файлик с id и т.п чтобы потом быстро найти данные в б.д.

Comments

[Юлия]

ну чисто теоретически....
поиск по номеру быстрее чем по длинной строке. к тому же там можно сохранить не только номер, но и другие данные, за которыми, возможно, придется лезть в базу отдельно.
на опыте - на базе без нагрузки разницы или нет, или поиск в базе даже быстрее выходит, чем обращение к php, а вот если опять же через входной скрипт, но искать не в базе, а в дереве каталогов - то через файлы быстрее получается, тут полагаю аппатч еще влияет...
у меня нет достаточно знаний о том как это все происходит, потому и спрашиваю.

[Дмитрий]

Юлия, у Вас в БД есть id, он уникален, по нему быстро всё ищется.

[Юлия]

slo_nik, в базе есть и по нему ищется быстро. кто с этим может поспорить не знаю. тока в урл этого id нет.

[Дмитрий]

Юлия, сделайте так, чтобы был

Answer 1

[DevMan]

само по себе кол-во файлов (даже в одной директории) никак не влияет на производительность.
а вот, например, при получении листинга такой директории или ее бекапе буду возникать тормоза.

Answer 2

[Saboteur]

1. Скорость работы с кучей файлов теоретически такая же как и с базой. Но вот кеширование файловой системы и базы идет по разному. И если при обращении к таблице, она у вас сразу вся закешируется, то вот закешировать 300.000 файлов/каталогов не так просто.

2.

При доступе к сайту обычно обрабатывают чпу-урл через пхп и ищут в базе, у меня всегда был вопрос почему не создавать реальные директории и в них класть php файлик с id и т.п чтобы потом быстро найти данные в б.д."

Потому что ID у файлика достаточно сложно раскладывается на каталоги таким образом, чтобы это было равномерно. файлы могут добавляться и удаляться не удобно, в итоге может выйти в одном каталоге 100 файлов, в другом 100 тысяч, и перераспределять все это на ходу - не выйдет. Поэтому гораздо проще файлы распределять не в зависимости от ID, а в зависимости от наполнения папок, а путь к файлу уже хранить в базе, в которой есть ID.

Answer 3

[Sanes]

Если коротко, то влияет. Насколько будет заметно вам никто не скажет, много условий.
База данных тоже состоит из файлов.

Answer 4

[Александр Шаповал]

Юлия, если поле ЧПУ в базе проиндексировано - то поиск по нему будет проходить достаточно быстро.
Если речь идет о маленьких сайтах-визитках - то тут не принципиально в чем делать хранение данных, в файлах или БД. Если делать большие сайты (блоги, регистрация, комментарии, каталог товаров) - то уже на этапе проектировки БД - этот вопрос сам собой отпадает. Почитай про реляционные БД. На файлах это организовать невозможно, так как между полями БД существуют отношения, а между файлами их сделать нельзя. К файлам нельзя применить сложные SQL запросы.
Ко всему прочему - современные БД - это мощное программное обеспечение ориентировано на надежность и скорость.

Рекомендую к просмотру серию видео с HightLoad++. Много докладов о сервисах выдерживающих высокие нагрузки

Comments

[Юлия]

при тестировании картинка не совсем такая получается. фалы открываются за 80-240мс
данные из базы по текстовому полю до 100! символов из получаются за 80-450мс (указано время ответа севера, а не выполнения запроса. в таблице 230тыс строк. база на новом хостинге- нагрзка = 0)
я и в мыслях не имела применять к файлам SQL-запросы (а что можно? а зачем?)
зачем нужны базы и как они удобны я в курсе, вопрос не в этом.

[Александр Шаповал]

Юлия, какая информация будет храниться на сервере?

[Юлия]

Александр Шаповал, про чпу вопрос пока скорее теоретический - почему так не делают. какие минусы/подводные камни.
если про первую часть... то не знаю. в общем есть сейчас 230 с лишним тыс динамических страниц, к ним есть пока ок 14тыс фоток (лежат в папках по ид страницы, чпу там нет и не может быть). и еще есть файлики с подписками, т.е. пользователи подписываются на изменения одной конкретной страницы. список подписавшихся лежит в файле по ид этой страницы и используется только при сохранении информации для этой страницы. в итоге файликов не мало... и будет больше. вот и возник вопрос а каково серверу будет в дальнейшем.