Почему сервер падает через AJAX запросы?

Question

[Богдан Кучерук]

При прокрутке вниз экрана срабатывает функция которая получает данные из БД:

$.ajax({
                url:'ajaxappendindex.php',
                method:'POST',
                data:{"startFrom":startFrom},
                beforeSend:function(){inProgress=true;
                }
            }).done(function(data){
                data=jQuery.parseJSON(data);
                if(data.length>0){
                    $.each(data, function(index, data){
                        $("#div").append('+data.title+'');
                    });

php файл:

$startFrom = $_POST['startFrom'];
$sql = "SELECT * FROM articles DESC LIMIT ".$startFrom.", 4";
$res = mysqli_query($conn, $sql);
$articles = array();
while ($row = mysqli_fetch_assoc($res)){$articles[] = $row;}
echo json_encode($articles);

Почему после 20-30 запросов подряд со страницы падает сервер?

Страница недоступна
Сайт не отправил данных.
ERR_EMPTY_RESPONSE

И приходит в порядок через 2-3 минуты. С чем это может быть связано?

Comments

[Богдан Кучерук]

Добавил индексы, но не помогло.

[Rise]

Это называется DoS.

[Богдан Кучерук]

Rise, но это происходит именно когда эта функция работает много раз.

[Дмитрий]

а индексы простите на что вы добавили?

[Богдан Кучерук]

Дмитрий, на все таблицы по которым идет выборка из БД.

[Дмитрий]

Богдан Кучерук, это глупое решение. во-первых индексы добавляются на поля в таблицы, и только на те которые нужны. Захерачить все индексами - может утяжелить запросы, а не ускорить.
во вторых, в вашем запросе SELECT * FROM articles DESC LIMIT ".$startFrom.", 4" - вообще не понятно. DESC чего?

[Богдан Кучерук]

Дмитрий, я добавил индексы только там где они нужны.
Там не такой код, я скинул упрощенный вариант.

[Дмитрий]

Богдан Кучерук, там где они нужны, вы как определяли?
ну вы скинули упрощенный код, а ответ вы хотите не упрощенный?

[Богдан Кучерук]

Дмитрий, индексировал только те столбцы по которым идет выборка. Без индексов SELECT занимал 0.5 сек, после 0.0013. У меня всё работает на OpenServer очень хорошо. На хостинге тоже все отлично грузит. Вот только несколько AJAX запросов дропает сервер. И как решить эту проблему у меня понятия нет.

Вот полный запрос:

$sql = "SELECT * FROM youtube JOIN marketdata2 ON channelTitle=coin WHERE youtube.videoId NOT IN (SELECT videoId FROM watchedvideo WHERE userkey = '$userkey') ORDER BY `publishedAt` DESC LIMIT ".$startFrom.", 4";

[Дмитрий]

Богдан Кучерук,
1. это тоже не совсем корректный вариант выбора - ибо если у индекс низкая кардинальность - есть шанс что планировщик на него положит болт.
2. А попробовать расставить логирование таймингов на скрипт и нагрузить его через какой нибудь ab не пробовали? или xdebug?

[Богдан Кучерук]

Дмитрий, на OpenServer все работает идеально. На хостинге тоже вроде ошибок никаких нет.
Может стоит переписать ajax стандартными функциями javascript? Это же обычная функция которая возвращает json строку, вообще не понимаю что там такого чтобы она дропала сервер.

[Дмитрий]

Богдан Кучерук, openserver надо сжечь. вместе с теми кто его рекомендует - глупо тренироваться/разрабатывать на том что не имеет никакого отношения к продакшену.
причем тут js? у вас браузер дохнет? или бэк данные не отдает?

[Богдан Кучерук]

Дмитрий, согласен. Полгода занимался сайтом на OpenServer чтобы вчера оказалось что обычный AJAX запрос от 1 пользователя может дропнуть сервер)

Выходит что бэк данные не отдает. Но там тоже ничего особенного. Обычный запрос к бд. А если сразу 30-50 пользователей зайдет, он тоже упадет?)

[Дмитрий]

Богдан Кучерук, ну если бэк не отдает - нахрена переписывать js? Что там есть и упадет ли он никто вам не скажет потому что вы код ниразу полностью не привели. Может у вас там вагон апдейтов с локами. Но судя по отсутствию подготовленных выражений ничего хорошего там явно нет. Логов тоже нет. - по этому ответ тоже упрощенный - у вас в php какие то косяки

[Богдан Кучерук]

вот весь php файл ajaxappendindex.php:

<?php
include "db.php";

$startFrom = $_POST['startFrom'];


$sql = "SELECT * FROM youtube JOIN marketdata2 ON channelTitle=coin WHERE youtube.videoId NOT IN (SELECT videoId FROM watchedvideo WHERE userkey = '$userkey') ORDER BY `publishedAt` DESC LIMIT ".$startFrom.", 4";


$res = mysqli_query($conn, $sql);
$articles = array();
while ($row = mysqli_fetch_assoc($res)){$articles[] = $row;}
echo json_encode($articles);
?>

Там больше ничего нет.

[Дмитрий]

Богдан Кучерук,
1. в db.php только конфиги?
2. Вот эта функция - вероятнее всего вам нужна, что бы не обходить в цикле.
3. Ну тогда надо смотреть что в системе происходит в тот момент когда оно начинает тупить.

[Богдан Кучерук]

Дмитрий, db.php:

<?php
$servername = "localhost";
$database = "database "; 
$username = "username";
$password = "password "; 

$conn = mysqli_connect($servername, $username, $password, $database);

if ($conn->connect_error) {
   die("Connection failed: " . $conn->connect_error);
}
mysqli_set_charset($conn, "utf8");
?>

А как посмотреть что происходит в системе когда оно начинает тупить?

[Дмитрий]

Богдан Кучерук, ну я бы воспользовался командами htop, atop, и прочей белибердой. Но что делать в случае с опенсервом на винде - вообще без понятия.

[Богдан Кучерук]

Дмитрий, у меня проблемы с сайтом на вебхостинге. На OpenServer с ним все нормально.

[Дмитрий]

Богдан Кучерук, ну а ssh доступ к нему есть? а хостинг shared? Если shared дык вам просто могут резать ресурсы что бы вы со своим сайтом не наглели.

[Богдан Кучерук]

Дмитрий, shared

[Дмитрий]

Богдан Кучерук, ну дык напишите в поддержку опишите ситуацию. вангую что либо вам режут ресурсы, либо рядом с вами лежит что то тяжелое которое в такие моменты жрет ваши ресурсы.

[Богдан Кучерук]

Дмитрий, с кодом все в порядке, да?

[Дмитрий]

Богдан Кучерук, нет. С кодом плохо. Стоит освоить подготовленные выражения и никогда не использовать конструкции типа userkey = '$userkey', или LIMIT ".$startFrom.". Не говоря о том что вообще не понятно откуда userkey берется - в коде нет инициализации этой переменной.

[Богдан Кучерук]

Дмитрий, ajax передает userkey вместе с переменной startfrom)
А чем они отличаются?

[Дмитрий]

Богдан Кучерук, ну если он передается вместе с переменной startfrom значит вы опять привели не тот код что выполняется на сервере. Редкостная глупость. Зачем вы 2 раза приводите код отличный от того что на сервере? Причина этого в чем?

Они отличаются тем что ваш код без них ваш код решето. Внезапно в переменных startFrom и userkey, я могу отправлять не чиселки и строчки, а запросы SQL и смотреть те вещи которые бы вы показывать не хотели.


В случае с prepared statement у меня такое получится примерно никогда. Ибо запрос и данные передаются отдельно.

[Богдан Кучерук]

Дмитрий, я переделал с PDO и ничего не изменилось.

[Дмитрий]

Богдан Кучерук, а PDO не решает проблему с падением сервера. Она решает проблему в sql injection, да и то только при использовании prepared statement.
Ваша проблема может решиться либо мониторингом происходящего в момент тормозов, просмотров логов, собственным логированием, чем угодно - но не использованием PDO.

[Богдан Кучерук]

Дмитрий, решил проблему сменой LIMIT с 4 на 48

Answer 1

[FaTTeST]

Возможно, проблема связана с тем, что на сервере исчерпывается память или другие ресурсы, которые необходимы для обработки запросов. Каждый раз, когда пользователь скроллит вниз, AJAX запрос отправляет новый запрос на сервер, который выполняет запрос к базе данных и возвращает результат. Если это происходит очень часто и быстро, то может быть нагрузка на сервере, особенно если на сервере запущено много других приложений или есть другие пользователи, которые используют те же ресурсы.

Также возможно, что проблема связана с настройками сервера или сетевыми настройками, которые могут ограничивать количество запросов или время выполнения запросов. В таком случае, вам может потребоваться настроить сервер.

Чтобы более точно определить причину проблемы, вам может потребоваться проверить журналы сервера, чтобы увидеть, есть ли какие-либо сообщения об ошибках или исключениях, которые могут помочь вам определить проблему.

Comments

[Богдан Кучерук]

Спасибо. Но чтобы от 1 пользователя падал сервер это жесть.

[Богдан Кучерук]

Никаких ошибок в журнале нет

[Dimonchik]

Богдан Кучерук, а сам жрнал есть?

там пров хостер еще может резать, но конечно на бОльших числах RPS

Answer 2

[Valeriu Cuțebov]

Скорее всего, причина падения сервера связана с тем, что каждый AJAX запрос создает новое соединение с базой данных, и эти соединения не закрываются после обработки запроса. Когда количество открытых соединений достигает определенного предела, сервер может перегрузиться и перестать отвечать на запросы.

Для решения этой проблемы необходимо закрывать соединения с базой данных после обработки каждого запроса. Для этого можно использовать функцию mysqli_close() после выполнения запроса:

$sql = "SELECT * FROM articles DESC LIMIT ".$startFrom.", 4";
$res = mysqli_query($conn, $sql);
$articles = array();
while ($row = mysqli_fetch_assoc($res)){
$articles[] = $row;
}
mysqli_close($conn);
echo json_encode($articles);

Также стоит проверить настройки сервера и базы данных, чтобы убедиться, что максимальное количество одновременных соединений не превышает допустимых значений. Если это не помогает, то может быть необходимо использовать более мощный сервер или оптимизировать запросы к базе данных для уменьшения нагрузки на сервер.

Comments

[Богдан Кучерук]

Добавил mysqli_close($conn); но ничего не изменилось. Использую индексы.

[Valeriu Cuțebov]

Если добавление mysqli_close($conn) не решило проблему, то возможно, причина в другом.

Причина может быть связана с тем, что каждый запрос создает новый процесс на сервере, который обрабатывает запрос и затем завершается. Если количество одновременно запущенных процессов превышает допустимые значения, то сервер может начать падать.

Для решения этой проблемы можно использовать следующие подходы:

1. Оптимизация запросов к базе данных. Чем меньше запросов к базе данных вы отправляете, тем меньше процессов будет создано на сервере, и тем меньше вероятность, что сервер начнет падать. Попробуйте объединить несколько запросов в один или использовать более эффективный код.
   
   
2. Использование кэширования. Если данные, которые вы запрашиваете, не изменяются часто, то можно использовать кэширование для уменьшения количества запросов к базе данных. Вы можете кэшировать данные на стороне сервера или на стороне клиента.
   
   
3. Использование более мощного сервера. Если ваш сервер не справляется с обработкой запросов, то может быть необходимо использовать более мощный сервер или увеличить количество доступной оперативной памяти.
   
   
4. Увеличение лимитов соединений. Если проблема связана с тем, что лимиты соединений на вашем сервере или базе данных слишком низкие, то можно попробовать увеличить эти лимиты. Но не забывайте, что увеличение лимитов может привести к увеличению нагрузки на сервер и базу данных.
   

[Богдан Кучерук]

ValeriuCutebov, как можно увеличить лимиты соединений?

[Valeriu Cuțebov]

Ваш код может быть оптимизирован следующим образом:

PHP код:

$startFrom = $_POST['startFrom'];
$limit = 4;
$sql = "SELECT * FROM articles ORDER BY id DESC LIMIT $startFrom, $limit";
$res = mysqli_query($conn, $sql);
$articles = array();
while ($row = mysqli_fetch_assoc($res)) {
    $articles[] = $row;
}
mysqli_free_result($res);
echo json_encode($articles);

JavaScript код:

var startFrom = 0;
var inProgress = false;
var limit = 4;
$(window).scroll(function() {
    if ($(window).scrollTop() + $(window).height() >= $(document).height() - 100 && !inProgress) {
        inProgress = true;
        startFrom += limit;
        $.ajax({
            url: 'ajaxappendindex.php',
            method: 'POST',
            data: { startFrom: startFrom },
            beforeSend: function() {
                $("#loader").show();
            }
        }).done(function(data) {
            data = JSON.parse(data);
            if (data.length > 0) {
                $.each(data, function(index, value) {
                    $("#div").append('<div class="item">' + value.title + '</div>');
                });
                inProgress = false;
            }
            $("#loader").hide();
        });
    }
});

Этот код объединяет все необходимые данные в один запрос, использует переменную $limit для указания максимального количества статей, возвращаемых за один запрос, и использует функцию mysqli_free_result() для освобождения ресурсов, выделенных для результата запроса.

Также в JavaScript коде добавлен блок для отображения спиннера загрузки (#loader), который показывается перед отправкой запроса и скрывается после получения ответа.

[Богдан Кучерук]

ValeriuCutebov, не помогло. Та же ошибка после 20 запросов.

[Богдан Кучерук]

ValeriuCutebov, это тот самый код.

[Valeriu Cuțebov]

Если оптимизированный код и использование оптимизированных индексов в базе данных не помогают решить проблему, то возможно, проблема связана с серверной конфигурацией или сетевыми настройками.

Однако, я могу предложить еще один вариант кода, который может уменьшить количество запросов к базе данных и, возможно, снизить нагрузку на сервер.

PHP код:

$startFrom = $_POST['startFrom'];
$limit = 4;
$sql = "SELECT * FROM articles ORDER BY id DESC LIMIT $startFrom, $limit";
$res = mysqli_query($conn, $sql);
$articles = array();
while ($row = mysqli_fetch_assoc($res)) {
    $articles[] = $row;
}
mysqli_free_result($res);
echo json_encode($articles);

JavaScript код:

var startFrom = 0;
var inProgress = false;
var limit = 4;
var articles = [];
$(window).scroll(function() {
    if ($(window).scrollTop() + $(window).height() >= $(document).height() - 100 && !inProgress) {
        inProgress = true;
        if (articles.length - startFrom <= limit) {
            limit = articles.length - startFrom;
        }
        var data = articles.slice(startFrom, startFrom + limit);
        startFrom += limit;
        if (data.length > 0) {
            $.each(data, function(index, value) {
                $("#div").append('<div class="item">' + value.title + '</div>');
            });
            inProgress = false;
        } else {
            $.ajax({
                url: 'ajaxappendindex.php',
                method: 'POST',
                data: { startFrom: startFrom },
                beforeSend: function() {
                    $("#loader").show();
                }
            }).done(function(data) {
                data = JSON.parse(data);
                if (data.length > 0) {
                    articles = articles.concat(data);
                    var newData = articles.slice(startFrom, startFrom + limit);
                    $.each(newData, function(index, value) {
                        $("#div").append('<div class="item">' + value.title + '</div>');
                    });
                }
                inProgress = false;
                $("#loader").hide();
            });
        }
    }
});

Этот код загружает все статьи из базы данных один раз при загрузке страницы и хранит их в переменной articles. Затем при каждом скроллинге страницы код извлекает нужное количество статей из переменной articles, вместо того, чтобы отправлять новый запрос к базе данных каждый раз.

Если статьи из переменной articles заканчиваются, то код отправляет новый запрос к базе данных и добавляет новые статьи в переменную articles.

Надеюсь, этот код поможет решить проблему. Если нет, то рекомендую провести дополнительную диагностику проблемы с помощью инструментов мониторинга сервера. Для этого можно использовать инструменты мониторинга сервера, такие как top, htop, iostat, vmstat и др.

[Valeriu Cuțebov]

Богдан Кучерук, попробовали? работает?

[Дмитрий]

и эти соединения не закрываются после обработки запроса.

Open non-persistent MySQL connections and result sets are automatically closed when their objects are destroyed. Explicitly closing open connections and freeing result sets is optional.

https://www.php.net/manual/en/mysqli.close.php

[Valeriu Cuțebov]

Дмитрий, Да, это верно. Открытые non-persistent соединения и наборы результатов автоматически закрываются, когда их объекты уничтожаются. Я бы рекомендовал использовать persistent соединения, если это возможно, так как они могут улучшить производительность, уменьшив количество времени, необходимого для создания и закрытия соединений с базой данных.

Тем не менее, если возникают проблемы с падением сервера, то, вероятно, проблема не связана с закрытием соединений с базой данных. Рекомендуется провести более глубокую диагностику проблемы, используя инструменты мониторинга сервера и базы данных, чтобы выяснить, что именно вызывает падение сервера.

Спасибо за уточнение!

[Богдан Кучерук]

Valeriu Cuțebov, не работает

[hint000]

Богдан Кучерук,

не работает

Конечно, вам здесь отвечал ChatGPT, который во многих случаях генерирует бесполезную хрень.

[Богдан Кучерук]

hint000, я знаю. Не скажите. Он мне помог уже больше раз чем я могу вспомнить.

Answer 3

[Sclifie]

У меня есть некоторые предположения что Вы просто отправляете данные в огромном "числе раз". Cкорее всего не верно написан Евент по которому отправляются данные, что приводит к "провисанию" сервера.
1) Скиньте весь код js.
2) Посмотрите в консоли разработчика вкладку Network и кол-во запросов и ответов.
3) Используйте PDO, в данном случае это не имеет отношения, просто совет.

Answer 4

[Богдан Кучерук]

Сменил LIMIT с 4 на 48.

Comments

[Everything_is_not_so_bad]

Почему этот ответ является решением?

[Богдан Кучерук]

Капитан Пронин, потому-что следующие записи позже запрашиваются.

Answer 5

[iljaGolubev]

Этот SQL не использует индексы "SELECT * FROM articles DESC LIMIT ".$startFrom.", 4";
Чтобы ускорить запросы лучше `where id>=$startFrom and id<=$startFrom+4`

Используйте persistent-connections.php

Посмотрите соединения. Попробуйте show status where variable_name = 'threads_connected'; или show processlist;

Убедитесь что на сервере нет ограничения количества запросов.

3) Используйте PDO, в данном случае это не имеет отношения, просто совет.

Поддержу. + вставлять POST данные в запрос без проверок - плохо.

Comments

[Богдан Кучерук]

не понял как это использовать persistent-connections.php

[iljaGolubev]

))) открыть ссылку и вникнуть в суть.

для mysqli