Оптимальная обработка на php содержимого большого количества файлов?

Question

[Laid]

Дано: десятки тысяч файлов разного размера (несколько мб) html формата, содержимое которых нужно обработать (с помощью preg_replact вытащить некоторые данные).

Топорный способ, который пробую, забивает процессор на 99,9% и память на 650-700 MiB:
Задаю массив со списком файлов и прохожусь циклом. В цикле пробовал целиком содержимое вытаскивать с помощью file_get_contents и тут же обрабатывать. Также пробовал вместо file_get_contents -> построчное чтение fgets, однако заметного результата так и не добился.

Приоритет в меньшей нагрузке сервера, время операции не столь важна. Подскажите пожалуйста алгоритм обработки такого большого кол-ва файлов с оптимальной нагрузкой.

Comments

[Konata Izumi]

Код испробованного "топорного" способа покажете?

[Laid]

foreach ($files as $file) {
		
		$classResult = array();
		$idResult = array();

		if (file_exists($file) && is_readable($file)) {
			$fh = @fopen($file, "r");

			if ($fh) {
				while (($line = fgets($fh, 40960000)) !== false) {
					if (!empty($line)) :
						
						preg_match_all('/class=["\'](.*)["\']/isU', $line, $result);
						if ( !empty($result[1]) )
							$classResult = array_merge($result[1], $classResult);

						preg_match_all('/id=["\'](.*)["\']/isU', $line, $result);
						if ( !empty($result[1]) )
							$idResult = array_merge($result[1], $idResult);

					endif;
				}

				fclose($fh);
			}
		}

	}

[Дмитрий]

Laid, код в вопрос добавить в обязательном порядке.

[ТыжСисАдмин]

Дмитрий, Это когда-то работало? :)

[Дмитрий]

ТыжСисАдмин, будет работать, если все будут соблюдать правила сервиса, чтобы те, кто согласится помочь, не лазили по комментариям в поисках проблемного кода.

[Laid]

Добавил, давайте лучше решение вопроса обсудим, вместо правил ^_^

[ТыжСисАдмин]

Дмитрий, Ну фиг его, я вечно палкой тыкаю на эту тему и фиг кто делет а если и делает то впихивает экрана три лога и даже без тега "код" :)
Вот если-бы товарищ moderator несчадно запихивал такие вопрос в черновички :D

[Дмитрий]

Laid, чтобы не обсуждать правила - делайте всё как положено с самого начала.

Answer 1

[Adamos]

grep/sed/awk по крону. Результаты скидывать в папочку, которую уже будет разбирать пых.

Comments

[Laid]

Спасибо!
egrep "class=["'](.*)["']" -i file.html > /dir/result.txt
По какой-то причине не хочет срабатывать(
Дело в ["']?

[Adamos]

Laid, понятия не имею. Никогда не пользовался.

[d'Ivan]

Laid, для распознавания PCRE регулярных выражений в grep нужно применять ключ -P.