Как выкачивать страницы второго уровня simple_html_dom.php?

Question

[Николай]

Подскажите, как выкачать по ссылкам каталога страницы второго уровня с помощью simple_html_dom.php

Взял все ссылки на рейсы:

// set_time_limit(10);
require_once 'simple_html_dom.php';
require_once 'curl.php';
$site = 'http://biletyczarterowe.r.pl';
$html = curl_get('http://biletyczarterowe.r.pl');
$dom = str_get_html($html);

foreach($dom->find('table[id=prawyKwadrat] tr td a') as $element) {
		$a = $element->href;
   		$a = $site . htmlspecialchars_decode($a);
// --------------------------------------------------------------
   		$page = curl_get($a);
   		$page_dom = str_get_html($page);
    file_put_contents(md5($page_dom) . '.html', $page_dom);
	}

А как теперь спарсить эти самые ссылки и как на них создать страницы ?

Answer 1

[Decadal]

//в теле цикла
$linkPage = file_get_html($element->href);
// и лучше сделать рекурсивно - оформить парсинг страниц как функцию, принимающую html и кинуть этот контент в неё же 
//а это для решения вашей задачи
file_put_contents(<хэш имени файла>, $linkPage);

если вам нужно спарсить не только страницу, но и всё, на что ссылается целевая страница, то лучше использовать cURL. По крайней мере, если уровень вложенности будет больше двух.

Answer 2

[amorphine]

Обновил

$html = file_get_html('http://biletyczarterowe.r.pl/');
foreach($html->find('table[id] tr td a') as $element) {
    $outer_html  = file_get_html($element->href);
    $file = fopen(md5($outer_html) . '.html', 'w');
    fwrite($file, $html);
    fclose($file);
}

Comments

[Николай]

Зайти по ссылке слить весь контент, который лежит между записать его в файл.html

[Николай]

Что-то не работает )

[amorphine]

Николай: человек ниже поправил косяк в цикле.

[Николай]

Всеравно есть косяк

[Виталий]

Мне кажется парсить на пхп это прошлый век, а что если там динамический дом и все отрисовывается после js?

[Николай]

Виталий: а чем ?

[Виталий]

Ява скрипт или питон, продукты фантом, гусь парсер, найтмер, ватир, скраппи

[Николай]

А чем вот именно питон лучше, если там динамический дом ?)

Answer 3

[Николай]

Ни один из вариантов не заработал...

Comments

[Decadal]

покажите код, который запускаете

[Николай]

// set_time_limit(10);
require_once 'simple_html_dom.php';
require_once 'curl.php';
$site = 'biletyczarterowe.r.pl';
$html = curl_get('biletyczarterowe.r.pl');
$dom = str_get_html($html);

foreach($dom->find('table[id=prawyKwadrat] tr td a') as $element) {
$a = $element->href;
$a = $site . htmlspecialchars_decode($a);
// --------------------------------------------------------------
$page = curl_get($a);
$page_dom = str_get_html($page);
file_put_contents(md5($page_dom) . '.html', $page_dom);
}

[Decadal]

$html = file_get_html($link);//убедитесь, что считает

foreach($html->find('table[id=prawyKwadrat] a') as $a)
{
//убедитесь, что попадает в цикл
file_put_contents(md5($a->href).".html",file_get_contents($a->href));
}

попробуйте так

[Decadal]

Кстати, вы действительно так и указываете сайт, без http://?
Включите, пожалуйста, отображение всех ошибок . может оказаться, что проблема гораздо очевиднее чем мы думаем

[Николай]

Их режит тостер, конечно нет.

[amorphine]

Николай: xdebug умеете использовать? Что-нибудь предприняли для отладки? В каком месте программы получаются значения, которые заведомо должны быть иными?

[Николай]

amorphine: Проблема в том, что после перехода по ссылке и загрузки страницы эффект нулевой из-за того, что там календарь js, который не парсится