Медленный парсинг XML средствами PHP. Как увеличить скорость?

Question

[Валера Удав]

Есть задача парсить xml файлы с видео-хостинга vimeo. Скрипт реализации:

<?php
function vimeo_parse($video_id) {
	$url = "http://vimeo.com/api/v2/video/".$video_id.".xml";
	$xml = simplexml_load_file($url);

	$vimeo_title = $xml->video->title;
	$vimeo_thumb = $xml->video->thumbnail_large;

	return array($vimeo_title,$vimeo_thumb,$video_id);
}

// пример использования
// list ($vimeo_title,$vimeo_thumb,$vimeo_id) = vimeo_parse("27973852");
// echo $vimeo_title;
// echo $vimeo_thumb;
// echo $vimeo_id;
?>

На странице нужно вывести порядка 20-ти видео. Каждый парсинг выполняется примерно 0.4 секунды, а это 20*0.4 = 8 секунд парсинга (+загрузка самой страницы), что совершенно не хорошо. Каким способом можно избежать такой долгой работы скрипта?

Answer 1

[pi314]

LIBXML_COMPACT ?
А, вообще, проблема, похоже, архитектурного плана. Если файлы небольшие, то время, в основном, расходуется на выкачивание по HTTP. Выкачайте 20 файлов, положите на диск и сравните производительность. Если подтвердится, поможет только какое-нибудь умное предварительное кеширование.

Comments

[Александр Борисович]

что там сравнивать? Запрос к серверу 0.2 0.4 сек. всегда. Так и набирается.

[pi314]

Да я-то как раз понимаю, что откуда набирается... вот и предлагаю сравнить, в дидактических целях :)

Answer 2

[Валера Удав]

Переписал скрипт с кэширование данных, теперь всё летает:

<?php
function vimeo_parse($video_id) {
	$fp = fopen($video_id.'.txt', 'r+');
	if (!$fp) {
		$fp = fopen($video_id.'.txt', 'w+');

		$url = "http://vimeo.com/api/v2/video/".$video_id.".xml";
		$xml = simplexml_load_file($url);

		$vimeo_title = $xml->video->title;
		$vimeo_thumb = $xml->video->thumbnail_large;

		$text_write = $vimeo_title."\n".$vimeo_thumb."\n".$video_id;
		fwrite($fp, $text_write);
		fclose($fp);
		return array($vimeo_title,$vimeo_thumb,$video_id);
	}
	else {
		$stack = array();
		while(!feof($fp)) { 
			array_push($stack,fgets($fp));
		}
		fclose($fp);
		return $stack;
	}
}

// пример использования
// list ($vimeo_title,$vimeo_thumb,$vimeo_id) = vimeo_parse("27973852");
// echo $vimeo_title;
// echo $vimeo_thumb;
// echo $vimeo_id;
?>

Comments

[pi314]

Замечательно :) А теперь, пока эйфория еще не прошла, задумайтесь над тем, что произойдет, когда в папке накопится очень много файлов... особенно, если на сервере файловая система Ext3 и в ней, по какой-либо причине, не установлен флаг dir_index.
И еще над тем, что, может быть, в API Vimeo есть возможность получить в одном запросе сразу список данных нескольких видео. Я понятия не имею, так ли это, но если такая возможность есть, пользователи, запрашивающие страницу, на которой все файлы "новые", наверняка скажут спасибо.

[Валера Удав]

@pi314 нет, сразу одним запросом вытащить инфу по нескольким видео вроде нет возможности, в документации ничего похожего не нашел, можно вытащить всю инфу по одному пользователю или альбому, но мне этот вариант не подходит.

А очень много файлов это сколько? Я сначала начал реализовывать хранение инфы в одном файле, но у меня чтото ничего не выходило с поиском нужных мне данных, поэтому решил хранить данные по отдельно взятому видео в отдельных файлах. Думаю в конкретно моем случае файлов будет не более 100, сейчас на хранении около 20ти, страница грузится порядка 0.3 секунды, но спасибо за подсказку буду пытаться улучшить код!

[Валера Удав]

@pi314 буду благодарен если дадите какието более конкретные реккомендации

[pi314]

@TARAKANhoy Ну, если около 100 файлов, то переживать не о чем!
А вот если бы были сотни тысяч, то производительность могла бы проседать на попытке открытия файла, т.к. это подразумевает сначала поиск файла по имени. Если файловая система строит внутреннее бинарное дерево (HTree в случае с Ext3), то это еще приемлемо, а если нет, то поиск линейный со всеми вытекающими. Тогда (если нет возможности повлиять на ФС, например, на хостинге) нужно бы было создавать свою структуру подпапок со сбалансированным наполнением файлами и/или хранить имена в БД, где и искать файл еще до попытки к нему доступаться. Но это все - просто в качестве идеи о том, что оптимизация возможна на разных, не всегда очевидных уровнях.

Answer 3

[Александр Борисович]

Вы сервер опрашиваете, и почему должно быть быстрее? Кешируйте результаты опроса, грузите асинхронно через js на клиенте.

Answer 4

[Александр N++]

Создавайте фоновый скрипт, который будет перекачивать к вам данные.
Для больших XML 10мб-2гб используйте XmlReader для обхода нод, для чтения ноды SimpelXMl.

Опрашивать сервер постоянно это не выход, рано или позно он не сможет отдать вам XML вы покажете посетителю не то, что он хотел увидить и он уйдет сайта

Answer 5

[Алексей]

Вам нужно получить данные, которые особо не будут изменятся. Почему не спарсить все заранее, откуда берутся video_id ?
Все время уходит на HTTP стопудово.