Как на PHP выполнить долгий скрипт?

Question

[Алексей]

Добрый день!

Стоит задача по выполнению долгого скрипта на php, который выполняется через консоль (cron).
При попытке выполнить скрипт php -f test/update.php

Пример скрипта:

// допустим $items имеет милион записей
ob_start();
$number = 0;
foreach($items as $key=>$item)
{
     // скрипт обновления данных 

     if($number>=1000){
          $number = 0;
          ob_flush();
	  flush();
     }

     $number ++;
} 
ob_end_clean();

Ошибка:

[root@allpbspb www]# php -f test/update.php
PHP Fatal error:  Allowed memory size of 536870912 bytes exhausted (tried to allocate 1198085 bytes) in /home/bitrix/ext_www/website/www/test/update.php on line 168

Fatal error: Allowed memory size of 536870912 bytes exhausted (tried to allocate 1198085 bytes) in /home/bitrix/ext_www/website/www/test/update.php on line 168

[root@allpbspb www]# php -f test/update.php
PHP Fatal error:  Allowed memory size of 536870912 bytes exhausted (tried to allocate 82 bytes) in /home/bitrix/ext_www/website/www/bitrix/modules/main/classes/general/usertype.php on line 2797

Fatal error: Allowed memory size of 536870912 bytes exhausted (tried to allocate 82 bytes) in /home/bitrix/ext_www/website/www/bitrix/modules/main/classes/general/usertype.php on line 2797

Comments

[Алексей]

Так же в начале файла добавлены строки

@set_time_limit(0);
@ignore_user_abort(true);

[Алексей]

Скрипт реализованный на Bitrix24

$crmContact = new CAllCrmContact(false);
$dbResult = $crmContact->GetList(
    array('ID' => 'DESC'),
    array('CHECK_PERMISSIONS' => 'N'),
    array('ID', 'NAME', 'LAST_NAME', 'FULL_NAME', 'DATE_CREATE', 'ASSIGNED_BY_ID')
);

while ($contact = $dbResult->GetNext())
{
   // здесь вносятся изменения в бд и сохранаются логи в файл
   // при увеличении памяти (memory limit) до 4G обрабатывается только 70т 
   // после выдается ошибка
}
<code>

Answer 1

[Юрий]

у вас проблема не со временем, а в том что память заканчивается, или memory limit поднимайте или оптимизируйте алгоритм.
очень подозрительный код, если это консоль, то зачем там ob_* функции и flush ?
данные не нужно накапливать в памяти сохраняйте обработанные данные сразу в базу или файлы

Comments

[Алексей]

увеличивая memory limit объем данных обработанных так же увеличивается.
ob_* и flush использую для записи данных в файл (не знаю на сколько это правильно).
memory limit был указа 256M изменил на 512M ошибка та же вылетает

[Юрий]

Алексей: "ob_* и flush использую для записи данных в файл"
вы меня расстраиваете, не делайте так.
file_put_contents + FILE_APPEND всегда хватает, или fopen на крайняк, а так делать очень плохо.
либо увеличивайте мемори лимит еще сильнее (4гига например), если не доходит что вы делаете плохо и все таки хотите познать жизнь через боль.

[Алексей]

Юрий: У меня стоит задача по битриксу т.е.

Есть некий скрипт

$crmContact = new CAllCrmContact(false);
$dbResult = $crmContact->GetList(
    array('ID' => 'DESC'),
    array('CHECK_PERMISSIONS' => 'N'),
    array('ID', 'NAME', 'LAST_NAME', 'FULL_NAME', 'DATE_CREATE', 'ASSIGNED_BY_ID')
);

while ($contact = $dbResult->GetNext())
{
   // здесь вносятся изменения в бд и сохранаются логи в файл
   // при увеличении памяти (memory limit) до 4G обрабатывается только 70т 
   // после выдается ошибка
}

Все никак "догнать" не могу как эту ошибку победить (

[Юрий]

Алексей: 1) я надеюсь в логи вы начали писать file_put_contents с флагом FILE_APPEND то есть строку не накапливаете.
2) если вы говоорите что данные хоть как то обрабатываются значит crmContact->GetList загружает их полностью (иначе я бы предложил загружать эти записи по частям например по 1000 обрабатывать и загружать следующее), а проблема возникает уже в месте "здесь вносятся изменения в бд и сохранаются логи в файл" нужно смотреть этот код на предмет того где он потребляет столько памяти.
под подозрением строки типа
$str .= 'ololo';
$arr[] = 'new item';
то есть где вы потребляете память строками или новыми элементами массива.

[Алексей]

Юрий: когда начал использовать file_put_contents то объем выполнения увеличился, но ошибка все же выполняется.
У меня в начале при каждом новом цикле обнуляются переменные. Может это как то повлиять?

[Юрий]

Алексей: если обнуляются, то не должны влиять.
по нормальному надо брать xdebug и по шагам смотреть где память теряется.
в вашем случая я бы просто порекомендовал старый добрый метод "исключения". убираете часть кода/запускаете и смотрите выполняется ли до конца. если нет - убираете еще кусок. если выполняется значит потихоньку добавляете код, пока не дойдете до места которое сьедает память.

[Алексей]

Юрий: Спасибо за рекомендации, буду пробовать

Answer 2

[Николай Конюхов]

Как я понял у вас проблема не во времени выполнения скрипта, а в количестве памяти, которое ему требуется. Попробуйте увеличить memory_limit в php.ini или оптимизируйте скрипт, снизив количество данных, которое ему требуется хранить - запускать скрипт несколько раз с сохранением состояния, на котором он остановился (к примеру используя флаги в tmp файле)

Comments

[Алексей]

не совсем понял как выполнить прерывание скрипта?

[Николай Конюхов]

При запуске скрипта проверяете наличие tmp-файла - есть - достаете значение текущей итерации с записью в переменную $iterationFrom. Далее при запуске логики работы скрипта используете не foreach, а for ($i = $iterationFrom; $i < count($items); $i++), внутри цикла if ($i - $iterationFrom >= $maxIterationCount), которые выполняет break for цикла и запись $iterationFrom в tmp-файл. Не могу целый ответ написать, дико неудобно через комментарий

[Алексей]

Николай Конюхов: а в данном случае while не подойдет?

Есть некий скрипт

$crmContact = new CAllCrmContact(false);
$dbResult = $crmContact->GetList(
    array('ID' => 'DESC'),
    array('CHECK_PERMISSIONS' => 'N'),
    array('ID', 'NAME', 'LAST_NAME', 'FULL_NAME', 'DATE_CREATE', 'ASSIGNED_BY_ID')
);

while ($contact = $dbResult->GetNext())
{
   // здесь вносятся изменения в бд и сохранаются логи в файл
   // при увеличении памяти (memory limit) до 4G обрабатывается только 70т 
   // после выдается ошибка
}

[Николай Конюхов]

Алексей: Суть в том, чтобы прервать выполнение скрипта до получения ошибки о переполнении памяти с сохранением состояния на котором он остановился. Я себе вашу задачу представляю так - делается крон правило с выполнением каждые 5 минут. При этом данные нужно обновлять только каждый день. При запуске скрипт проверяет наличие tmp-файла с текущей позицией запуска: 1) Файла нет - запускаем, к примеру, через require выполнение основного скрипта обработки. 2) Файл есть - достаем данные из файла - там может быть указатель позиции, на которой скрипт остановился или флаг успешного выполнения (-1, к примеру) - если там -1 - проверяем mktime файла - если данные успешно обработаны сегодня - ничего не делаем, если разница с текущем временем > суток - удаляем файл и начинаем выполнять основной скрипт обработки .

// cron_wrapper.php
define(POS_END, -1);
define(FRESHNESS_TIME, 86400); // сутки

function start_update($position, $flagFile) {
	$crmContact = new CAllCrmContact(false);
	$contactsRoundCount = 20000;
	$dbResult = $crmContact->GetList(
		array('ID' => 'DESC'),
		array('CHECK_PERMISSIONS' => 'N'),
		array('ID', 'NAME', 'LAST_NAME', 'FULL_NAME', 'DATE_CREATE', 'ASSIGNED_BY_ID')
		// добавить LIMIT => $position, $contactsRoundCount
	);

	$i = 0;
	while ($contact = $dbResult->GetNext())
	{
	   // здесь вносятся изменения в бд и сохранаются логи в файл
		$i++;
		if ($contactsRoundCount <= $i) {
			// дошли до последней записи, прекращаем выполнение скрипта
			// записываем данные о позиции в flagFile
			file_put_contents($flagFile, $position+$i);
		}
	}
	
	// если вышли из while до достижения $contactsRoundCount значит данные для обновлений закончились
	if ($i <= $contactsRoundCount) {
		file_put_contents($flagFile, POS_END);
	}
}

$flagFile = 'current.pos';

if (file_exists($flagFile)) {
	$currentPos = file_get_contents($flagFile);
	if ($currentPos == POS_END) {
		if (time() - filemtime($flagFile) > FRESHNESS_TIME) {
				$currentPos = 0;
				unlink($flagFile);
		} else {
			die("Nothing to update");
		}
	}
}

start_update($currentPos, $flagFile);

[Николай Конюхов]

Николай Конюхов: дефайны с ковычками и $currentPos = 0; перед $flagFile = 'current.pos';, а то если скрипт первый раз запускается - будет null

[Алексей]

Николай Конюхов: Спасибо за ответ, но я пока что буду искать где память съедается )

[Алексей]

Николай Конюхов: Воспользовался вашим решением, спасибо.

Answer 3

[Евгений Бухарев]

Может вам стоит попробовать генераторы, если версия php позволит, тогда вопрос с памятью отпадет

Answer 4

[McBernar]

Через ob_start(); вы накапливаете результат в буфере. Очевидно, что вам нужно использовать просто какое-то внешнее хранилище — БД или банально файл.

Comments

[Алексей]

У меня стоит задача по битриксу т.е.

Есть некий скрипт

$crmContact = new CAllCrmContact(false);
$dbResult = $crmContact->GetList(
    array('ID' => 'DESC'),
    array('CHECK_PERMISSIONS' => 'N'),
    array('ID', 'NAME', 'LAST_NAME', 'FULL_NAME', 'DATE_CREATE', 'ASSIGNED_BY_ID')
);

while ($contact = $dbResult->GetNext())
{
   // здесь вносятся изменения в бд и сохранаются логи в файл
   // при увеличении памяти (memory limit) до 4G обрабатывается только 70т 
   // после выдается ошибка
}

Все никак "догнать" не могу как эту ошибку победить (