Откуда быстрее получать информацию, mysql или файл?

Question

[Andy1295]

Нужно средствами php дёргать время от времени информацию из базы, которая в данный момент храниться в файле. Файл обновляется раз в неделю.
Как будет быстрее: Заносить данные из файла в БД и уже дёргать оттуда, хранить данные в xml, хранить данные в csv.

Было бы интересно узнать какой метод более оптимален и почему.
Беглое гугление не дало ничего конкретного.

Answer 1

[FanatPHP]

Хранится? Работает? Ничего не трогай.

Comments

[Кирилл Саксин]

Предельно плохой подход...

[FanatPHP]

Кирилл Саксин: это возрастное. Со временем ты станешь мудрее и поймешь всю глубину этого совета!..

[Кирилл Саксин]

FanatPHP: скорее наоборот, игнорировать профайлер - не самая здравая (взрослая) мысль. Или бежать от рефакторинга, как от огня является признаком хорошего кодера?

[FanatPHP]

Кирилл Саксин: лет 10 тебе еще расти. Знание умного слова рефакторинг не делает тебя умным.

[FanatPHP]

Совет. если не понял моего ответа - почитай ответ Ihor Kalashnikov - там другими словами то же самое написано

[Кирилл Саксин]

FanatPHP: За как раз такого рода высказывания PHP-разработчиков и поливают. А про рефакторинг - это не просто умное слово, вычитанное в книжке, а то, что позволило мне не утонуть в паре проектов. А что касается "Работает - не трожь!" - это наиболее актуально только с очень сложной логикой (например, сложные иерархии на основе деревьев или бизнесс-правило, которое слабо граничит со здравым смыслом)

[FanatPHP]

Кирилл Саксин: подсказка: не только с очень сложной, но и с очень простой. Тыв не умеешь прочесть вопрос глазами автора. Ты думаешь не о нем, а о себе. Это эгоизм. Отвечая человеку на вопрос, надо отвечать ему, а не себе. А ты отвечаешь себе. А это значит, что дзена ты еще не достиг. Совершенствуйся.

[Кирилл Саксин]

FanatPHP: Ошибочка, я был на месте автора, с ровно такой же проблемой, разве что цикл обновления был в 7 раз чаще, тогда и изучил все возможные решения проблемы, которые и перечислил в ответе. Много мелкого неотрефактореного кода, хм, процедурщину не напоминает?
Или по вашему такое:

class A {
    public function someAction()
    {
        if ($this->getSomething() === B.SOME_CONSTANT) {
             ...
    }

    public function someAnotherAction()
    {
        ...
        if ($this->getSomething() === B.SOME_CONSTANT) {
             ...
    }
   
    ...
}

рефакторить не надо?

[Кирилл Саксин]

FanatPHP: А в целом - всё просто вмеру должно быть. Но никак не на принципе "Работает? Не трожь!".

[Кирилл Саксин]

Анатолий K: Да видел, это и по никнейму ясно было...

Answer 2

[Igor Kalashnikov]

Ваша главная проблема, что вы не правильно ставите вопрос.

Смотря что за данные вы хотите хранить:
В каком виде приходят данные?
Структурированные?
Объем?
Смотря что вы с этими данными хотите делать:
Различные выборки?
Десериализовать в объект?
Просто вывести пользователю?

Думаю после ответа на эти вопросы вы поймете что за способ хранения вас устроит.

Answer 3

[Oleg]

Способы решения:
1. читаем из файла всегда
2. читаем 1 раз, храним где либо:
2.1. в БД
2.2. в xml или csv
2.4. в json
2.5. в виде пхп кода

Для того чтобы ответить на вопрос, нужно знать следующее:
1. как часто читается файл после обновления, насколько это критично чтобы работало быстро ?
2. Размер файла
3. Как именно читается - нужно читать все строки из него, или всего несколько?
4. Что с файлом дальше делается ? Например если после чтения выводим просто хтмл реестр, то почему бы его сразу не готовить, и не хранить его?
5. Ссколько много времени на разработку.

Простой пример кейса:
система уже работает, файл читается 1-2 раза в неделю.
В данный момент из оригинального файла читается около секунды
Особых лагов нет.
На разботку метода конвертация уйдёт 1-2 дня.

=> Выгоды нет по замене

Другой пример:
1. файл читается каждый раз раз в секунду.
2. из файла нужно 1-10 строк всего, по номеру
3. В файле миллионы строк

=> лучше хранить в базе обычно.

третий пример:
1. файл читается каждый раз раз в секунду.
2. файл нужен всегда весь
3. В файле миллионы строк

=> лучше хранить в пхп коде

Т.е. способы хранения данных таковы:

1. БД
+ быстрая выборка, когда нужно несколько элементов из миллиона
+ можно использвоать в качестве данных для других запросов (джойны и тп)
- временные издержки

2. XML/CSV
+ можно использовать как есть, если нужен этот формат для чего либо другого.
- очень "дорого" парсить файл каджый раз.
Не рекомендую если нет особых причин

3. JSON
+ Относительно быстро
+ удобно хранить
+ на некоторых данных быстрее чем ПХП (что странно)
- надо парсить, опкешеры не помогают
- невозможно брать только часть элементов. Если нужно 10 строк из миллиона, то придётся брать весь миллион в память.

4. PHP
Тут я имею в виду: хранить через var_export и подключать через require/include
Обязательно: чтобы был APC/opcache
+ быстро
+ удобно хранить. обрабатывать. Получаешь сразу же массив
- невозможно брать только часть элементов. Если нужно 10 строк из миллиона, то придётся брать весь миллион в память.
- иногда JSON быстрее

Что вам выбрать лучше - сложно сказать, вы не предоставили достаточно данных.
Я бы взял PHP или БД, в зависимости от ситуации.

Answer 4

[Кирилл Саксин]

Наиболее высокое быстродействие обеспечат memcached или redis, но всё очень сильно зависит от задачи. Но если собираетесь хранить данные в файле, то лучше выбрать JSON или PHP (массив в файле[!НЕ СЕРИАЛИЗАЦИЯ!], в вашем случае это самый оптимальный вариант, т.к. opcache сделает за вас всю работу по оптимизации), т.к. xml - чрезмерно жирно почти для любой задачи, CSV позволит хранить только списки, сериализация - только если действительно сложные данные (например, целый граф объектов).

Comments

[FanatPHP]

анекдот в тему: phpfaq.ru/anecdotes#apple ;)

[Кирилл Саксин]

ну да :), но "Было бы интересно узнать какой метод более оптимален и почему."

Answer 5

[Пума Тайланд]

Все зависит от данных и сложности выборки в вашем случае за полчаса можно накидать все три варианта и просто проверить опытным путем.