Почему тормозит код записи в MySQL после разбивки его на функции?

Question

[maiskiykot]

Создал функцию save_product для записи товаров в базу. Для удобства и наглядности раскидал запись в каждую таблицу по функциям и... получил жуткие тормоза! Одна запись выходила по 16 секунд! Т.е. save_product вызывал save_category с проверкой check_category, save_brand и save_image. Не поленился - проверил тайминг внутри функций - все по нолям! А вызов из функции save_product - до 8 секунд доходил! В чем причина такого поведения и как избежать простыни кода в функции save_product для ускорения всей процедуры?

Comments

[Ипатьев]

"Дорогие ученые! У меня который год в подполе происходит подземный стук. Объясните, пожалуйста, как он происходит."

[Ипатьев]

ReD вы подписались на этот вопрос потому что ждёте какого-то откровения про то что функции замедляют код?

Answer 1

[Rsa97]

Если вы делаете коннект к БД в каждой функции, то результат логичен. Коннект занимает в лучшем случае 0.2-0.5 секунды, в худшем - несколько секунд.
Используйте внедрение зависимости, подключайтесь к базе один раз с начале скрипта и передавайте подключение в экземпляр класса при его создании. Или по старинке используйте синглтон.

Comments

[Ипатьев]

Коннект занимает в лучшем случае 0.2-0.5

Это шутка такая, про лучший случай?
А это ничего что у меня весь код от начала до конца, с подключением к базе, всеми запросами и выводом выполняется 0.01 секунды? На дешевом впс за 10 долларов.

[maiskiykot]

Ипатьев, У вас условия тепличные. Здесь идет работа с базой, которую по определению невозможно нормально настроить ибо хостинг плюс сама CMS деревянная.

[maiskiykot]

Rsa97. Т.е. вы предлагаете обращаться к функциям из функции save_product с добавлением $connect?
$category = save_category($category,$connect)

[Rsa97]

maiskiykot, Если у вас всё на функциях, то да. Если на классах, то внедрять при создании экземпляра.

[Ипатьев]

maiskiykot, ну так автор этого "ответа" и пишет про тепличные условия: "в лучшем случае".

При чем здесь вообще хостинг и CMS? Вы померяли, сколько времени занимает коннект к БД, один, без всего?

[maiskiykot]

Ипатьев, 0 секунд

[Ипатьев]

maiskiykot, 0 секунд умножить на 10 функций даст 0 секунд.

[Ипатьев]

Коннект в любом случае должен быть один, и его так и надо передавать дополнительным параметром, save_category($category,$connect).
Но это не может служить причиной настолько больших тормозов. Ну максимум может увеличить до одной секунды. Но 16 секунд получить на коннектах - это нереально.
Там какая-то другая глупость является причиной.

[Rsa97]

maiskiykot,

<?php
$begin = hrtime(true);
// Соединение с БД
$end = hrtime(true);
echo $end - $begin;

[ThunderCat]

Ипатьев, Судя по всему ТС считает что запросы на чтение не потребляют ничего, и в каждой функции у него как минимум 1 запрос с селектом.

[maiskiykot]

Rsa97, Ну да - ваш ответ наиболее разумный - добавил $connect и дела пошли. Осталось еще разобраться с $save_image, которая под 2 секунды скачивает/записывает картинки, но это уже к топику не относится. В принципе, саму суть понял - вопрос решен практически

Answer 2

[rPman]

хоть один пример такой функции показал бы

могу преположить что в каждой функции ты стартуешь и завершаешь транзакцию, а нужно (обычно) одна транзакция на весь скрипт

p.s. гугли - php профилирование вызовов функций

Comments

[maiskiykot]

Ясен пень, что подключение к базе и запись в каждой функции своя. Ну, дак я вынес сейчас в save_product часть этих функций и ускорение просто огромное. С 15 до 3 секунд. Мне важно понять причину тормозов, чтобы впредь не маяться дурью

Answer 3

[Ипатьев]

Во-первых, такой подход называется не функциональным, с процедурным. Функциональное программирование - это совсем другое.
Во-вторых, сама по себе разбивка кода на функции ни к какому замедлению не приводит.
Проблема не в том, что много функций, а в том коде, который в них написан.

В целом, цифры какие-то дикие. Что 8 секунд, что 16, что 3. Для записи одного "продукта" нужно максимум 0.1 секунды, если всё очень сильно тормозит

Comments

[maiskiykot]

Так в каждой из функций (процедур) происходит проверка на существование а при отсутствии - запись. Еще раз повторюсь: тайминг внутри функций практически равен нулю. Т.е. код корректный. Тормоза происходят при вызове этих функций из функции save_product.

Вот к примеру была функция check_category - вообще ничего не записывала:

$sql = "SELECT category_id,name FROM {$prefixTables}category_description WHERE name='".iconv('UTF-8', 'UTF-8', trim($str['category']))."'";
  
   $res = $pdo->query($sql);
   
   while($row = $res->fetch())
   {  
    $category_id = $row['category_id'];
   }

Тайминг 0. Но при вызове из другой функции давало 2 секунды на вызов

[Ипатьев]

Вы по НТТР что ли эти функции вызываете что ли? С другого конца земного шара?
Ну неужели самому не ясно, что это чушь полная?

У меня такое ощущение, что у вас где-то код, который выбирает не одну нужную запись из БД, а сотни тысяч. Это единственное объяснение, которое приходит мне в голову.

[Ипатьев]

и это что ещё за бред: iconv('UTF-8', 'UTF-8', trim($str['category'])?

[maiskiykot]

Ипатьев, iconv добавил, потому что ругалось на кодировку. При чем здесь конец шара? Ясно, что запись в базу находится на том же сервере где код

[Ипатьев]

при том, что если запись на том же сервере, то она не может занимать 2 секунды.

кодировку надо нормальную в базе данных использовать, utf8mb4. тогда и iconv никакой не будет нужен. тем более такой бессмысленный

вы приведёте здесь уже код функций, которые тормозят, или так и будете размахивать руками?

Answer 4

[ThunderCat]

Вот к примеру была функция check_category - вообще ничего не записывала:
$sql = "SELECT category_id,name FROM {$prefixTables}category_description WHERE name='".iconv('UTF-8', 'UTF-8', trim($str['category']))."'";

$res = $pdo->query($sql);

while($row = $res->fetch())
{
$category_id = $row['category_id'];
}

Это вы на каждый параметр делаете проверку таким образом, да? Ну тогда все логично, вместо одного запроса в бд у вас их много, вот и выходит лажа. То что она ничего не записывала не отменяет нагрузку на базу. База вообще самое узкое место практически всегда, по этому в базу нельзя лазить когда вздумается. Сделал 1 раз выборку всех нужных данных и с этим массивом работаешь.

Comments

[Ипатьев]

Очень хорошая версия. Но он там пишет что у этого кода тоже тайминг 0.
короче, ничего непонятно.

[ThunderCat]

Ипатьев, у кода ноль, а у запроса не ноль ) Я почему то сомневаюсь в аналитических способностях ТС ))

Answer 5

[mayton2019]

раскидал запись в каждую таблицу по функциям

Подобного рода рефакторинги надо сопровождать кодом. Наиболее вероятный вариант - ты создаешь отдельный connection в каждой функции. Так делать не надо. Второй вариант - ты играешся с коллекциями там где нужны курсоры. Третий вариант - транзакции и блокировки но все это надо смотреть в твой код.

Не мучай пожалуйста нас эпистолярным жанром. Давай код в студию едрён-батон...