В чем ошибка применения функции sleep()?

Question

[Korneliy]

Периодически мне нужно совершать запись из одной таблицы MYSQL в другую.

Причем посредством PHP - так как нужно поля таблицы разбить на новые и в таком виде залить в другую таблицу.

Всё бы хорошо, но ни set_time_limit(0) не помогает, ни включение в цикл sleep() - Ошибка 504 через некоторое время выполнения.

Помогает только разбитие работы на несколько частей с помощью BETWEEN 450000 AND 600000. Вот так сижу, дожидаюсь завершения работы первой части, меняю ручками значения в BETWEEN и делаю следующую. Грустно это. :(

Код такой:

//тут запрос к базе данных
$count=0;
foreach($list as $row) {
$count++;
//тут логика перестроения полей таблицы и запись очередной строки в новую таблицу
if(($count%30000)==0)
    {
        sleep(30);
    }
}

То есть, убирал из запроса BETWEEN и вставлял паузу, но смысла не было. Сервер не "отдыхал". Причем, как понятно из приведенного диапазона BETWEEN, без проблем выдерживаются 150 тысяч итераций. А sleep я ставлю только на каждый 30 тысяч. Менял значения, в том числе и количество секунд - всё без толку.

Comments

[Slava Rozhnev]

Насколько сложна логика перестроения? Возможно ее стит сделать в базе?

[Korneliy]

Slava Rozhnev, в базе исключено. Там только из одного поля делается 15 новых. :)

Answer 1

[DevMan]

1. такие задачи нужно выполнять через консоль, а не вэб.
2. sleep тут вообще ни к месту.

Comments

[Korneliy]

Эх, консоль - это уже не для слабых умом...
Одно дело - просто с базой через SSH. А тут и логику php надо подключать.

[Сергей]

Korneliy, а какая разница, скрипт вызывается из консоли и всё. php filename.php не сложнее набрать, чем адрес в браузере

[Korneliy]

Сергей, я запутался. Если вызывать php-файл - это разве не возврат к вебу будет с его тормозами?

[Сергей]

Korneliy, нет. При вызове из консоли у вас обработка php идёт через PHP CLI с другими ограничениями на выполнение скрипта, чем вы вызываете его через браузер с обработкой через веб-сервер.

[Сергей]

Korneliy, и ещё sleep же вам здесь совсем не нужен, для чего вам пауза на 30 секунд?

[Korneliy]

Сергей, благодарю. Нашел тут https://www.php.net/manual/ru/features.commandline...

$ php my_script.php

$ php -f my_script.php

И правда просто! Если ничего не сломает :)

[Сергей]

Korneliy, как-то так
#!/bin/sh
/opt/php73/bin/php script.php

[Сергей]

Korneliy, и через https://www.php.net/manual/ru/reserved.variables.a... можно передать параметры необходимые.

[Korneliy]

Сергей, у меня там нет никаких параметров (наверное) все ведь в самом файле php. главное, чтобы он выполнился без 504 ошибки.

[Сергей]

Korneliy, да в целом не должно быть проблем.

Answer 2

[Vitsliputsli]

Вы получаете ошибку, потому как nginx не дождался ответа от php, который ожидает ответ от mysql, который лопатит ваш не хилый запрос на получение.
Разбивайте на части, управляйте этим в коде. Как уже указано, запускайте php не через nginx, а в cli. Записывайте не построчно, а тоже блоками. 150 000 это много, попробуйте блоки по 1000, а может и меньше.
Откуда взялся sleep? Если это троттлинг, то 30 секунд как то очень много.

Comments

[Korneliy]

С 150К nginx справляется. С 200К уже нет, я проверял =)

Записывайте не построчно, а тоже блоками.

Блин, опять блоки. Если блоки, то и с nginx можно было бы, чтобы не трогать эту опасную консоль.

Откуда взялся sleep?

В интернетах почитал, что ставит выполнение php на паузу. Думал, поможет.

[Vitsliputsli]

Korneliy, nginx ни с чем не справляется, он просто ждет определенное время и если не получил ответ от php выдает эту злосчастную ошибку. А php продолжает в это время работать, как и mysql.
Для вашей задачи nginx вообще не к месту, а запустить скрипт php из консоли в данном случае проще, чем делать это через веб.
Блоки нужны для другой цели, чтобы СУБД не повесилась от огромного кол-ва работы которую вы на нее взвалили. Чтобы другие процессы могли ей пользоваться свободно, пока идут такие крупные чтения/вставки. Троттлинг, sleep, который "ставит выполнение php на паузу" тоже для этих целей. Поэтому размер блоков и величину троттлинга нужно подбирать экспериментально.

[Korneliy]

Vitsliputsli, уже обнадежили, что sleep для этого подойдет!

[Vitsliputsli]

Korneliy, sleep никак не поможет вам с 504 ошибкой nginx, если вы про это.

[Korneliy]

Vitsliputsli, нет, я про то, чтобы на всякий случай оставить его в цикле при использовании через CLI.

[DevMan]

Korneliy, да не нужна она вам. вы прост не понимаете что она делает.

[Vitsliputsli]

Korneliy, не усложняйте раньше времени, не заморачивайтесь ни sleep, ни блоками, запустите ваш скрипт для начала просто в cli, проверьте отрабатывает ли он там.

[Korneliy]

Запустил в командной строке:

php путь_к_файлу/имя_файла

Судя по phpMyAdmin (просто обновляю там страницу "Обзор" наполняемой таблицы) - сперва ух как молниеносно полетело, а теперь просто со скоростью черепахи добавляет поля (а всего 1/4 часть таблицы наполнилась). Посмотрим, дойдёт ли до конца.

[Vitsliputsli]

Korneliy, надо понимать что делают sql запросы (да и php тоже). При простом добавлении данных сильной деградации быть не должно.
Если используете BETWEEN и блоки, то вероятно идете по полю без индекса, из-за этого при каждой итерации он перечитывает всю таблицу сначала до нужной позиции. Используйте primary key в between, либо стройте индекс по фильтруемому полю.

[Korneliy]

Если используете BETWEEN

Нет, запустил полностью.
Но остановилось, сделав где-то 2/3 от общего объёма.

Мысль пришла в файле сделать последовательно три копии этого же файла. В первой с помощью BETWEEN прописать первую треть, во второй - вторую, в третьей - третью.

Вот только надо понять, что МЕЖДУ этими копиями прописать. Может, тот же самый sleep...

[Vitsliputsli]

Korneliy,

Но остановилось, сделав где-то 2/3 от общего объёма.

тогда скорее всего проблема в коде, либо чтото залочилось в базе, посмотрите локи, да и просто долго выполняющиеся запросы на ней.

Мысль пришла в файле сделать последовательно три копии этого же файла. В первой с помощью BETWEEN прописать первую треть, во второй - вторую, в третьей - третью.

ну хоть так, если не знаете, как сделать такой цикл в коде.

Вот только надо понять, что МЕЖДУ этими копиями прописать. Может, тот же самый sleep...

да ничего не надо, уж между запусками 3 скриптов точно ничего не надо.

[Korneliy]

Я понимаю, что это ужасно, но сделаю так:
1. Главный файл, где будут include множество файлов.
2. Каждый из этого множества файлов будет отличаться только началом и концом в BETWEEN. Я потестил — не тормозят примерно 50 тысяч итераций. Следовательно, для 600 тысяч итераций создам 12 файлов. Потом посмотрю на время выполнения всего этого.

[Korneliy]

В общем в главный файл подключил вот так:

require_once('/path/1.php');
require_once('/path/2.php');
require_once('/path/3.php');
require_once('/path/4.php');
require_once('/path/5.php');
require_once('/path/6.php');
require_once('/path/7.php');
require_once('/path/8.php');
require_once('/path/9.php');
require_once('/path/10.php');
require_once('/path/11.php');
require_once('/path/12.php');
require_once('/path/13.php');

В каждом из этих файлов:
1. Запрос к таблице1
2. foreach с логикой php и записью в таблицу2.

Они отличаются только своим интервалом в запросе (BETWEEN 1 AND 50000, BETWEEN 50000 AND 100000 и так далее).

Запустил через консоль.

Но смысла не поимело:
1. С началом нового require_once скорость не возрастала.
2. К четвертому require_once скорость опять упала до черепашьей. Думаю, снова не до конца дойдет.

[Vitsliputsli]

Korneliy, вот эта штука:
(BETWEEN 1 AND 50000, BETWEEN 50000 AND 100000 и так далее).
делается циклом for в php, и не нужно множество файлов.

К четвертому require_once скорость опять упала до черепашьей

Здесь нужно понимать, что вы запрашиваете, а может и как обрабатываете.
Скорее всего, как я уже писал:
Если используете BETWEEN и блоки, то вероятно идете по полю без индекса, из-за этого при каждой итерации он перечитывает всю таблицу сначала до нужной позиции. Используйте primary key в between, либо стройте индекс по фильтруемому полю.

[Korneliy]

Vitsliputsli,

primary key в between

Не совсем понятно, как это совместить.
В запросе ORDER BY id.
А этот id имеет PRIMARY.

[Vitsliputsli]

Korneliy, вопрос в том, что стоит в BETWEEN, если возможно, то лучше чтобы там стоял id, если это невозможно, то по тому полю, которое в BETWEEN должен быть построен индекс.

[Korneliy]

BETWEEN так по первичному и идут.

В общем, решил проблему ОДНОРАЗОВОГО выполнения всего объёма.

Запустил
bash a.sh

внутри которого с разным диапазоном:
php 1.php
php 2.php
...
php n.php

Скорость отличная и можно сильно помельчить файлы, но не "стоять над плитой" :)

[Korneliy]

Вот смотрите, какая красота:

То, что я раньше ЧАСАМИ делал, да ещё ручками переставлял значения, теперь делается менее, чем за 7 минут!

И запускать надо единожды, не следя за процессом.

Думаю, если я ещё сильнее "измельчу" файлы php, скорость сильнее увеличится.

[DevMan]

Korneliy, а нафига вам скорость?
у чистого (если нет системных лимитов, установленных администратором) консольного слоника вообще нет лимита на выполнение скрипта.
даже если один, без деления, будет выполняться 5-10-30-60 минут, какая проблема?
запустили в фоне и занимаетесь своими делами.

делить нужно только если сам мускуль начинает тупить, иначе просто гонять задачу в фоне.

[Korneliy]

DevMan, не, потом оно постепенно превращается в 1 итерации в несколько секунд. Нафиг-нафиг.

И как же приятно, что добился семи минут вместо пары часов. :)