Почему медленно работали запросы sql пока не почистил базу?

Question

[Кирилл Горелов]

Парни, проблема решена, но хотелось бы знать что могло спровоцировать замедленние запросов?
Есть таблица с товарами, вот ее структура joxi.ru/823EbjWUo3ZXrO
В файле, где я генерирую json массив, который состоит из 48 sql запросов, меньше не получается.

Сейчас все эти запросы генерируются за 1-2 секунды, сейчас в базе осталось 57 тысяч записей.
После того как число строк в базе перевалило за 100 тысяч, все эти запросы стали генерироваться за 30 секунд. Почему так медленно?

Машина: линукс 2 ГБ оперативки.

Comments

[Fortop]

А мне гораздо интереснее почему 48 запросов-то?

[Кирилл Горелов]

Fortop: По другому никак не получится, к сожалению((
Я конечно не спорю, что спец это сделал бы короче, но у меня меньше никак.
Там 5 источников, откуда парсится вся информация, и для каждого источника нужно выводить информацию за день, неделю и месяц.
Конечно можно вместо 15(3- запроса(день, неделя, месяц) * 5- источников информации) сделать 5 запросов и в массиве сортировать уже на день, неделю и месяц, но сроки горели и это самый простой способ был.

[Fortop]

Кирилл Горелов:

Для информации за месяц срок актуальности не менее дня (если месяц текущий, если прошлый, то и целый месяц срок актуальности и выше, ибо она не обновляется-то)
Т.е. ее можно смело раз в сутки выбирать и кидать в кеш.

По запросам на неделю (не текущую) можно кешировать неделю (минимум на 1 день)

По информации за день (не текущий) срок валидности до 1 дня.

И только лишь по реалтайм обновлениям у вас будет нагрузка.
Итого свои 48 запросов на каждое обращение к сайту вы можете свести до 5-10

[Кирилл Горелов]

Fortop: вполне не плохой вариант. Просто изначально и попросили, что бы данные показывались в реальном времени. За текущий день. То есть даже для недели данные, тоже, есть текущий день так же для месяца, последний день тоже должен быть в реальном времени подгружаться.

[Fortop]

Кирилл Горелов:
Если это агрегаты. То текущий день достаточно выбрать при первом запросе и просто добавить к остальным закешированным

Answer 1

[Довольный Айтишникъ]

Индексы есть? Какие такие индексы? Не не, не слышал...

Comments

[Кирилл Горелов]

Вечно Голодный а не подскажешь как мне лучше проставить индексы?
Я думал, читал несколько статей и ничего не придумал( И если быть точнее, то я даже не понял как ими пользоваться?

[Довольный Айтишникъ]

Кирилл Горелов: всё зависит от запроса, посмотрите по каким таблицам у вас чаще всего идет отбор и добавьте к ним индекс, проверьте как изменилось время выполнения запроса. А вот какие индексы использовать поможет определится эта статья https://habrahabr.ru/post/70640/

Запросы можно не переделывать, сервер сам поймет чего ему надо

[Кирилл Горелов]

Вечно Голодный: Спасибо, буду читать))