Почему очень долго выполняеться запрос к БД?

Question

[emerysh]

Здравствуйте, есть такая вещь:

$db_host = 'localhost';
  $db_user = 'root';
  $db_password = '';
  $db_name = 'price_sites';
  
  $linkps = mysqli_connect($db_host, $db_user, $db_password, $db_name);
    
  $query = "SELECT * FROM table1 LEFT JOIN table2  USING(item)";
  $result = mysqli_query($linkps, $query);	

  $numrows = mysqli_num_rows($result);

    function DrawTableNames()
    {
      global $numrows;
      for($i=0;$i<numrows;$i++){
      echo '\< td \>'; 
      echo mysqli_result($result,$i,'item');
      echo '\< \/td \>';

      }
    } 
    function DrawTableSites($site)
    {
      global $numrows;
      for($i=0;$i<numrows;$i++){
        echo "\< td \>",mysqli_result($result,$i,$site),"\< \/td \>";
      }
    }

Но открывается страница этого скрипта и скрипт начинает свое выполнение -5-10 мин.

Если этот же запрос сделать в phpmyadmin: (99207 всего, Запрос занял 0.0002 сек.)

То есть запрос выполняется быстро, но куда уходит столько времени? Как его убрать?
Еще нашел немного информации об serialize - можно ли этим убрать сию задержку?

Comments

[AlikDex]

наверное потому что браузер отрисовывает 99к строчек таблицы. Потому и лагает =)

[emerysh]

AlikDex: когда отрисовывает - когда нет - одинаково просто оно толи записывает в $result толи еще что то

[AlikDex]

emerysh: попробуй не выводить 99к записей в браузер, и будет быстро =)

[emerysh]

AlikDex: Код, где не выводиться, а просто запрос

$query = "SELECT * FROM opskins LEFT JOIN cs_money  USING(weapon)";
	$result = mysqli_query($linkps, $query);

очень долго...
но мне нужно получать данные из бд, и обрабатывать их.

[emerysh]

AlikDex: он их не рисует

[Андрей Прозоров]

не используйте вы global ну 10 лет так уже никто не программирует ...

Answer 1

[Андрей Прозоров]

зачем функции DrawTableNames и DrawTableSites? где они используюсться? что попадает в циклы for($i=0;$i < numrows;$i++)? может там 1 000 000 000 000 строк?

следующий момент USING(item) item надо пологать есть в обех таблицах. проверьте одинкового ли он типа и размера в обеиз таблицах которые джойните.

и да таблицы диких размеров сторяться исключительно долго. есть вариант как это дело ускорить но незначительно. передавать данные в json. JS на стороне пользователя кушает его и строка за строкой асинзронно формирует табличку в миллиард строк. можно еще отложенную загрузку присобачить с LIMIT тогда все точно будет быстро работать.

Comments

[emerysh]

1. там фиксированное количество строк 99500
2. USING(item) - одинаковый тип VARCHAR

3. Насколько незначительно? И все же мне не нужно миллиард строк. Всего лишь 100к, но как ускорить это?

[Андрей Прозоров]

emerysh: если сделаете так что js будет работать в фоне и не пожирать все ресурсы ПК и грузить по тихоньку строки то будет работать все отлично. Я просто делал так же однажды, и JS кушал так много ресурсов что браузер подвисал. но в целом все работало быстрее чем при прямой зугрузке. конечно если засунуть JS в какой то setTimeout или еще как то в**ться то будет норм работать

[Андрей Прозоров]

emerysh: я вас умоляю. всего лишь 100к =)) таблицы строиться ооочень долго. это связано с обсенностями построения их браузером. кроме того вы замерьте в Network в браузере сколько мегабайт вы выкачиваете. будете удивлены. на 100к это будет мегов 10 - 20. а то и под сотку. это просто мало того что строиться долго так и еще дико много трафаф

[Андрей Прозоров]

emerysh: varcha тип одинаковый, а размер?

[Андрей Прозоров]

emerysh: еще вариант как подускроить запрос, но повторюсь томозит не запрос а табилцы, это сделать поле что в той таблице что в этой индексом. но это увелисит размер таблиц. может даже значительно размер увеличить

[Андрей Прозоров]

emerysh: вообще есть такая штука как пагинация. то что я предлогаю это имено что оно и есть. только с загрузкой страниц онду за другой и в фоне. как посты на стене в вк подгружаються в фоне. иначе страницы будут грузиться по 10 лет

[emerysh]

Андрей Прозоров: то есть, переписывать на js? Я думал делать это с помощью cron+php?

[Андрей Прозоров]

emerysh: шта? я js испольовал как отложенный загрузчик, в данном случае строк таблицы. он делает запросы яксом. на сервере пхп отдает json.

крон это служба запускающая задачи. это тут совосем не уместно

[emerysh]

Андрей Прозоров: спасибо

Answer 2

[emerysh]

Решением было переписать все напрочь, сделал "пагинацию", поиск в самом БД, другими словами server-side

Answer 3

[Олег]

Попробуй для начала определить вообще время подключение к БД

<?php
$start = microtime(true); 
$host = 'localhost'; // адрес сервера 
$database = 'price_sites';
$user = 'root'; 
$password = ''; 
$link = mysqli_connect($host, $user, $password, $database) 
    or die("Ошибка " . mysqli_error($link));

mysqli_close($link);
echo 'Скрипт выполнен за: '.(microtime(true) - $start).' сек.';

к примеру у меня 0.008999938964844 сек.

Comments

[emerysh]

Скрипт выполнен за: 0.00232887268066 сек

Answer 4

[FanatPHP]

> Если этот же запрос сделать в phpmyadmin:

phpmyadmin - убогая погремушка для ламеров. измерять по нему скорость выполнения запроса - это все равно что смотреть время на стоящих часах. Два раза в сутки покажет правильно...

Во-первых, phpmyadmin подставляет limit для твоего запроса, и запрашивает всего 20 строк из твоих 100 тысяч. Попробуй запросить все, и посмотри, сколько времени будет выполняться. Если вообще выполнится.
Во-вторых, даже для запроса с лимитом, 0.0002 -это мало. Результат явно идет из квери кеша. Один раз выполнил, дальше запрос закэшировался, и радостро выдает тупо результат.
В-третьих, как тут уже все сказхали, делать таблицу на сто тыщ строк - это совсем за пределами осмысленности. Кто будет это читать? Даже если делаешь XLS.

В общем, сначала изменить, сколкьо времени выполняется запрос ЦЕЛИКОМ, а потом сократить количество запрашиваемых строк до разумных значений.

Comments

[Никита Траторов]

Автор же написал, что "99207 всего, Запрос занял 0.0002 сек.", о каком лимите Вы говорите?

[FanatPHP]

Никита Траторов: уважаю за то, что никогда не видели похапемайадмин и не знаете как он работает.
Но порицаю за отсутствие здравого смысла и минимального технического опыта.

Для CTO не понимать, сколько времени будет работать запрос на 100к строк - это профнепригодность.

[emerysh]

FanatPHP: на самом деле время запроса было 0.1сек

[Никита Траторов]

FanatPHP: аргументация Ваших выводов для меня загадка, но уважаю за то, что гадости Вы говорить умеете. Флаг Вам в руки, направление знаете. Даже интересно, откуда берутся профессионалы, умеющие в уме вычислять скорость выполнения запросов, не зная ни версии СУБД, ни аппаратной мощности, ни структуры данных.
Если по делу, то в Вашем ответе всё действительно разжевано. Я просто уже так давно не го*нокодил, что логическая цепочка сразу не сложилась, тем более ночью. В моём представлении, кроме как через порционные запросы с использованием LIMIT n OFFSET m, длинный CSV-файл не вывести. Вот я и подумал грешным делом, что человек реально получил 99207 строки за 0.0002 сек и при этом не моргнул глазом. За что и поплатился.
Спасибо, открыли глаза :)

[emerysh]

Никита Траторов: там кстать было 9к строк ;p

[Никита Траторов]

emerysh: да не важно, в общем. Надеюсь, что наш поток сознания Вам поможет.

Answer 5

[Никита Траторов]

В свете Вышесказанного, если не менять логику и Вам необходимо получить все строки например, для вывода в CSV или Excel, сделать приблизительно следующее:

//set_time_limit(120); // может понадобиться увеличить время выполнения
$db_host = 'localhost';
$db_user = 'root';
$db_password = '';
$db_name = 'price_sites';
  
$linkps = mysqli_connect($db_host, $db_user, $db_password, $db_name);

$limit = 1000;
$offset = 0;
// выполняем запрос с подсчетом общего числа результатов
$query = sprintf("SELECT SQL_CALC_FOUND_ROWS * FROM table1 LEFT JOIN table2  USING(item) LIMIT %d,%d", $offset,$limit);
$result = mysqli_query($linkps, $query);	

// получаем общее число результатов
$resultTotal = mysqli_query($linkps, "SELECT FOUND_ROWS() AS total");
$res = mysqli_fetch_assoc($resultTotal);
$numrows = $res['total'];

// идем в цикле по результатам
for ($offset = 0; $offset <= $numrows ; $offset += $limit) {
    // получаем строки из результата
    while ($row = mysqli_fetch_assoc($result)) {
        // Что-нибудь делаем с полученной строкой
        print_r($row);
    }
    //запрашиваем очередную порцию данных
    $query = sprintf("SELECT * FROM table1 LEFT JOIN table2  USING(item) LIMIT %d,%d", $offset,$limit);
    $result = mysqli_query($linkps, $query);	
}

Сразу говорю, что код может не заработать, ибо писал на память.