Почему один и тот же последовательный запрос работает медленнее?

Question

[Игорь Самохин]

Добрый день всем,

На одном проекте ( без CMS ) я заметил что одно и то же действие ( например удаление поста ajax запросом ) выполняется медленнее с каждым разом.

То есть на странице я нажал «удалить» — пошел ajax запрос, вернулся через 80ms. Прокручиваю вниз — жму удалить — post запрос уже вернулся через 3s и так далее… Следующий вернется через 8 секунд

Не представляю куда копать? Может у хостера что-то?

Comments

[Николай Васильчук]

Похоже на глюк в JS. Как будто у вас один код выполняется по нескольку раз (увеличивая количество в какой-то прогрессии). Можете код показать?

[Max]

Что значит «вернулся»? первый байт приходит с задержкой? Скорость передачи падает? Нужно найти в каком месте тормозит.

[Игорь Самохин]

Например вот:

				$('.adm_posts_cont .close, .rossr_cont .close').click(function(){
					var obj = $(this);
					var act = "post_del";
					var id = $(obj).next().find('.post_id').val();
					if ( $(obj).next().find('.action').val() == "post_upd_complaint" ){
						act = "compl_del";
					}else if ( $(obj).next().find('.action').val() == "rossr_upd" ){
						act = "rossr_del";
						id = $(obj).next().find('.rossr_id').val();
					}
					$.ajax({
						type: "POST",
						url: "/includes/ajax_actions.php",
						data: "action=" + act + "&id=" + id + "&PHPSESSID=" + $('.phpSesId').val(),
						dataType: "text",
						error: function (XMLHttpRequest, textStatus, errorThrown){
						},
						success: function(msg){
							if ( msg == 'ok' )
								$(obj).parent().remove();
							else{
								alert('Ошибка');
							}
						}
					});						
				});

[Игорь Самохин]

7workers

Вернулся это значит что на сервере выполнился скрипт на которфй посылался запрос, в скрипте прошла обработка и вывелось echo«ok»;

[Игорь Самохин]

header("Content-Type: text/html; charset=utf-8");
session_start();
require_once($_SERVER['DOCUMENT_ROOT']."/includes/db_connect.php");
if ( $_SESSION['user_type'] != '4' && $_SESSION['is_auth_vk'] == "1" ){


		
			if ( !is_numeric( $_POST['id'] ) )
				die();
		
				if ( $_POST['action'] == "post_del" ){
					if ( $_SESSION['user_type'] == '1' || $_SESSION['search_access'] == '1' ){
						$row = mysql_fetch_assoc(mysql_query("
							SELECT from_user
							FROM posts
							WHERE id = ".$_POST['id']."
							LIMIT 0, 1
						"));
						if ( $row['from_user'] == '1' && $_SESSION['user_type'] != '1' )
							die('нет прав');
					}else{
						die('нет прав');
					}
				}elseif( $_POST['action'] == "compl_del" ){
					if ( $_SESSION['user_type'] == '1' || $_SESSION['compl_access'] == '1' ){}
					else{
						die('нет прав');
					}
				}
				
				$res = mysql_query("
							SELECT post_images
							FROM posts
							WHERE id = ".$_POST['id']."
							AND from_user = '1'
							LIMIT 0, 1
				");
			
				while ( $row = mysql_fetch_assoc($res) ){
					$arr = explode(",", $row['post_images']);
					foreach ( $arr as $key => $val ){
						unlink($_SERVER['DOCUMENT_ROOT'].$val);
						unlink($_SERVER['DOCUMENT_ROOT'].str_replace(".", "_little.", $val));
					}
				}				
				
				$res = mysql_query("UPDATE
									posts 
									SET 
									owner_id = 0
									, group_vk_id = 0
									, user_vk_id = 0
									, screen_name = ''
									, post_vk_id = NULL
									, post_wall_id = ''
									, street = ''
									, house = ''
									, price = NULL
									, phones = NULL
									, addit_info = NULL
									, search_text = ''
									, post_images = NULL
									, post_images_s = NULL
									, from_user = '0'
									, renter_type = '0'
									, viewed_by_admin = '1'
									, complaint_text = NULL
									, complaint_is_new = '0'
									, complaint_date = 0
									, complaint_viewed = '0'
									, date_upd = 0
									, date_add = 0
									, date_to_client = 0
									, post_town_id = 0
									, post_country_id = 0
									, show_cost = 0
									, show_count = 0
									, is_active = '-1'
									, is_actual = '0'
									, comm_text = NULL
									WHERE id = ".$_POST['id']."
									LIMIT 1
									");
									
			
			if ( $res )
				echo "ok";

}

[AxisPod]

И зачем вы так удаляете посты, в случае AUTOINCREMENT поля не будет использовать удалённые id. Так что тут надо использовать DELETE, а не вот такое нечто.

[Игорь Самохин]

AxisPod

так при DELETE индексы же перестраиваются?

[Max]

сколько записей в таблице posts?
сколько памяти у mysql сервера?
что говорит EXPLAIN?
какой set-up у mysql? master-slave и т.п.?
repair table пробовали?
перезапускать mysql пробовали?
движок таблицы какой?
какая нагрузка на таблицу во время запроса?

[Игорь Самохин]

1) почти 5000 — но они быстро растут
2) незнаю, это обычный тариф sweb
3) что говорит EXPLAIN при каком запросе?
4) см. п. 2
5) не пробовал, а это иожет решить проблему с тормозами одно и того же запроса?
6) см. п. 2
7) MyISAM
8) А как это посмотреть? Или вы о том, сколько выполняется запрос по времени?

[Max]

MyISAM — значит лочится вся таблица. переведите в innodb.

Answer 1

[Николай Васильчук]

Извините конечно, но с таким кодом — неудивительно.

Comments

[Игорь Самохин]

и что же не так с кодом? То что это не ООП?

[Николай Васильчук]

Даже не знаю с чего начать. Я ведь не могу сказать, что код ужасен везде и всюду )
Давайте я попозже сделаю вам небольшой рефакторинг, а вы сами найдете ваши косяки.

[Игорь Самохин]

Хорошо, спасибо заранее

[Николай Васильчук]

Специально оставил «не-ООП», просто причесал ваш код. Если будут вопросы — спрашивайте.

<?php

session_start();
require_once($_SERVER['DOCUMENT_ROOT'] . '/includes/db_connect.php');

/**
 * @return bool|PDO
 */
function get_db_connection() {
  static $_instance = null;
  if (is_null($_instance)) {
    $_instance = new PDO(
      'mysql:host=myhost;dbname=mydb',
      'login',
      'password',
      array(PDO::MYSQL_ATTR_INIT_COMMAND => 'SET NAMES UTF8')
    );
    if (is_null($_instance)) {
      return false;
    }
  }
  return $_instance;
}

/**
 * Получает ID автора.
 * @param $post_id Post id
 * @return int
 */
function get_post_author_id($post_id) {
  $db = get_db_connection();
  $stmt = $db->prepare('SELECT from_user FROM posts WHERE id = :id LIMIT 1');
  if (!$result = $stmt->execute(array(':id' => $post_id))) {
    return null;
  }
  if (!$post = $stmt->fetch(\PDO::FETCH_ASSOC)) {
    return null;
  }
  return $post['from_user'];
}

/**
 * Получает картинки поста.
 * @param $post_id
 * @return array
 */
function get_post_images($post_id) {
  $db = get_db_connection();
  $stmt = $db->prepare('SELECT post_images FROM posts WHERE id = :id AND from_user = \'1\' LIMIT 1');
  if (!$result = $stmt->execute(array(':id' => $post_id))) {
    return array();
  }
  return $stmt->fetchAll(\PDO::FETCH_ASSOC);
}

/**
 * Удаляет картинки поста.
 * @param $post_id
 */
function delete_post_images($post_id) {
  foreach (get_post_images($post_id) as $row) {
    $images_array = explode(',', $row['post_images']); // В БД у вас похоже тоже ужас.

    foreach ($images_array as $image) {
      $img_path = $_SERVER['DOCUMENT_ROOT'] . $image;
      $pathinfo = pathinfo($img_path);
      $small_img_path = $pathinfo['dirname'] . DIRECTORY_SEPARATOR . $pathinfo['filename'] . '_little' . '.' . $pathinfo['extension'];

      if (file_exists($img_path)) {
        unlink($img_path);
      }
      if (file_exists($small_img_path)) {
        unlink($small_img_path);
      }
    }
  }
}

/**
 * Удаляет пост.
 * @param $post_id
 * @return bool
 */
function delete_post($post_id) {
  $db = get_db_connection();
  $stmt = $db->prepare('DELETE FROM posts WHERE id = :id');
  if (!$result = $stmt->execute(array(':id' => $post_id))) {
    return false;
  }
  delete_post_images($_POST['id']);
  return true;
}

/**
 * Отправляет ответ.
 * @param bool $result
 * @param mixed $data
 */
function send_response($result, $data = '') {
  header('Content-Type: text/html; charset=utf-8');
  print json_encode(array('result' => (bool)$result, 'data' => $data));
  exit();
}

/**
 * Проверяет доступ пользователя.
 * @param $action
 * @param $post_id
 * @return bool
 */
function check_user_access($action, $post_id) {
  switch ($action) {
    case 'post_del':
      if ($_SESSION['user_type'] != '1' && $_SESSION['search_access'] != '1') { // Почему строка '1'??
        return false;
      }

      $author_id = get_post_author_id($post_id);
      return ($author_id != '1' || $_SESSION['user_type'] == '1');

    case 'compl_del':
      return ($_SESSION['user_type'] == '1' || $_SESSION['compl_access'] == '1');

    default:
      return false;
  }
}

if ($_SESSION['user_type'] == '4' || $_SESSION['is_auth_vk'] != '1') {
  send_response(false, 'Доступ запрещен');
}

if (!is_numeric($_POST['id'])) {
  send_response(false, 'Неверные параметры запроса');
}

if (!check_user_access($_POST['action'], $_POST['id'])) {
  send_response(false, 'Недостаточно прав');
}

if (!delete_post($_POST['id'])) {
  send_response(false, 'Неизвестная ошибка');
}

send_response(true);

$('.adm_posts_cont, .rossr_cont').on('click', '.close', function(e) {
  e.preventDefault();

  var $this = $(this);
  var $next = $this.next();
  var action_val = $next.find('.action').val();
  var id = $next.find('.post_id').val();
  var action = 'post_del';

  if (action_val == 'post_upd_complaint') {
    action = 'compl_del';
  }
  else if (action_val == 'rossr_upd') {
    action = 'rossr_del';
    id = $this.next().find('.rossr_id').val();
  }

  $.ajax({
    type: 'POST',
    url: '/includes/ajax_actions.php',
    data: {action: action, id: id},
    dataType: 'json',
    xhrFields: {withCredentials: true} // Вместо передачи PHPSESSID
  })
    .done(function(data) {
      if (!data.hasOwnProperty('result')) {
        alert('Unknown error');
        return;
      }
      if (!data.result) {
        alert('Error: ' + data.data);
        return;
      }

      $this.parent().remove();
    })
    .error(function() {
      alert('Ajax error');
    });
});

[Игорь Самохин]

Почему вы используете DELETE FROM? На больших таблицах это будет тяжелая операция

withCredentials: true — возьму на заметку.

По поводу вашего кода — он не отражает моего мышления, поэтому мне будет не комфортно. Да и скакать по нескольким функциям мне неудобно, но всё равно спасибо.

[Николай Васильчук]

DELETE FROM будет не тяжелее вашего UPDATE. К тому же, как указали выше, при использовании AUTOINCREMENT ID не будут использоваться повторно, так что переживать не о чем.
А смысл кода не в разбиении на функции. Сравните внимательнее. Вы можете развернуть его обратно в «лапшу», главное ошибки не допускайте.
Да, его тоже еще можно долго «причесывать», например, строго указывать тип параметров в PDO, «магические числа» записать в константы, лучше проверять входные данные, но общий смысл и основные ошибки я исправил.

Answer 2

[Egor]

Ответ от запроса в браузер с задержкой возвращается или в JS callback? Если в браузер, то первым делом залогируйте все, что касается этого запроса на сервере (время выполнения в базе, время обработки и т.д.). Станет понятным в какую сторону копать.

Comments

[Игорь Самохин]

Ответ от запроса возвращается в браузер с задержкой ( в фаербаге смотрю ). Думаю дело не в js. Просто очень странный глюк, как может один и тот же запрос ( post_id только разный ) — выполнять всё дольше и дольше…

Answer 3

[Max]

В каком месте тормозит? Вы смотрели во вкладку network в хроме developer tools?

Comments

[Игорь Самохин]

Тормозит в месте Ожидание — смотрел в фаербаге

Answer 4

[lightsgoout]

Ну надо попрофилировать код, можно xdebug'ом, а можно просто воткнуть $time_start = microtime(true); <кусок кода> $time_end = microtime(true) - $time_start; и посмотреть сколько времени выполнялся каждый кусочек.

P.s. код жесть: WHERE id = ".$_POST['id']." — sql-инъекция

Comments

[Игорь Самохин]

там проверка на is_numeric( $_POST['id'] )

[Step_M]

Осторожнее с is_numeric() для нее и 0xFA будет true…

[Игорь Самохин]

Спасибо, не знал… А тот факт, что пропускаются такие строки — чем череват?

Answer 5

[Игорь Самохин]

Странно,

Вот запрос этот медленно выполняется со второго раза ( чем дальше, чем медленнее )

			$res = mysql_query("INSERT INTO 
								b_lists_users_ids 
								SET user_vk_id = ".$_POST['user_vk_id']."
								, bl_acc_to_app = '1'
								, not_srch_posts_vk = '1'
								, reason = '".mysql_real_escape_string($_POST['reason'])."'
								, user_vk_id_add = '".$_SESSION['vk_id']."'
								, date_add = UNIX_TIMESTAMP()
								, user_vk_id_edit = '".$_SESSION['vk_id']."'
								, date_edit = UNIX_TIMESTAMP()
								ON DUPLICATE KEY UPDATE
								is_active = '1'
								, bl_acc_to_app = '1'
								, not_srch_posts_vk = '1'
								, reason = '".mysql_real_escape_string($_POST['reason'])."'
								, user_vk_id_edit = '".$_SESSION['vk_id']."'
								, date_edit = UNIX_TIMESTAMP()
								");

Может какая настройка в mysql?

Comments

[Николай Васильчук]

Почему вы числа пишете строками?

[Игорь Самохин]

У меня поле ENUM в базе, поэтому решил пусть будет строкой в сессии хранится, чтобы по образу и подобию

[Николай Васильчук]

И с подходом «пусть будет строкой, чтобы по образу и подобию» вы удивляетесь тормозам?
Integer будет значительно быстрее.

[Игорь Самохин]

А если эти значения используются в запросе mysql — тогда integer будет переведено обратно в string? ( поле то ENUM )

[Николай Васильчук]

Если вы в поле храните число — сделайте поле Integer (TINYINT для флагов).

[Max]

INTEGER 5 занимает больше памяти, чем строка «5» и работает медленнее. Всё не так просто как кажется. И причина у автора не с типом полей.

[Николай Васильчук]

TINYINT — 1 байт
Но да, проблема не в этом.

Answer 6

[Casus]

Наугад: попробуйте скопировать данные из сессии и закрить её в начале скрипта.

<?php session_start(); $sessionData = $_SESSION; session_close();

Comments

[Игорь Самохин]

Попробовал, только вместо session_close(); использовал session_write_close()

Эффетка нет…

[Casus]

Тогда нужно локализовать проблему. Если вы уверены что тормозит запрос, то попробуйте выполнить несколько раз этот запрос из консоли mysql…
Дальше в зависимости от результатов. Или искать причину в SQL (например… DB индексы большие, кеш забивают) или всё таки пхп.

[Игорь Самохин]

Да, один и ото же запрос тормозит, Говорите смотреть в сторону кеширования в mysql? Причем даже когда в phpmyadmin у хостера посредством интерфейса манипулируешь базой данных — одни и те же запросы тормозят после первого раза…

Answer 7

[Петруша Укропов]

А если попробовать mysql_unbuffered_query?

Comments

[Игорь Самохин]

Попробовал — эффетка нет, но меня это натолкнуло на мысль, что так как пользователей много — а хостинг самый простой — то возможно кеш mysql забивается другими запросами? ( в остальных местах везде mysql_query() )

[Петруша Укропов]

А индексы правильно проставлены? Я как-то раз забыл проставить индексы, сервер начинал дико тормозить. Проблему искал несколько дней, пока не вспомнил про индексы. Как только проставил — сервер начал летать.

[Игорь Самохин]

            $res = mysql_query("INSERT INTO 
                                b_lists_users_ids 
                                SET user_vk_id = ".$_POST['user_vk_id']."
                                , bl_acc_to_app = '1'
                                , not_srch_posts_vk = '1'
                                , reason = '".mysql_real_escape_string($_POST['reason'])."'
                                , user_vk_id_add = '".$_SESSION['vk_id']."'
                                , date_add = UNIX_TIMESTAMP()
                                , user_vk_id_edit = '".$_SESSION['vk_id']."'
                                , date_edit = UNIX_TIMESTAMP()
                                ON DUPLICATE KEY UPDATE
                                is_active = '1'
                                , bl_acc_to_app = '1'
                                , not_srch_posts_vk = '1'
                                , reason = '".mysql_real_escape_string($_POST['reason'])."'
                                , user_vk_id_edit = '".$_SESSION['vk_id']."'
                                , date_edit = UNIX_TIMESTAMP()
                                ");

Структура таблицы:

CREATE TABLE IF NOT EXISTS `b_lists_users_ids` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user_vk_id` bigint(20) unsigned NOT NULL,
  `b_comment` text CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL,
  `reason` text CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL,
  `user_vk_id_add` bigint(20) unsigned NOT NULL,
  `date_add` int(10) unsigned NOT NULL,
  `user_vk_id_edit` bigint(20) unsigned NOT NULL,
  `date_edit` int(10) unsigned NOT NULL,
  `is_active` enum('1','0') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL DEFAULT '1',
  `bl_acc_to_app` enum('1','0') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL DEFAULT '1',
  `not_srch_posts_vk` enum('1','0') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL DEFAULT '1',
  PRIMARY KEY (`id`),
  UNIQUE KEY `user_vk_id` (`user_vk_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=cp1251 AUTO_INCREMENT=259 ;

Есть конечно индексы в других таблицах — но они же не могут влиять на запрос к этой таблице… К тому же всегда в первый раз запрос выполняется быстро, а потом всё медленнее и медленнее