Как проще всего получить контент блога livejournal.com для парсинга?

Question

[druzhanja]

На blogspot.com я перебирал результаты blog.com/atom.xml?redirect=false&start-index=1&max-results=500 и быстро мог выкачать сайт, а на livejournal.com похожего нет, через rss выдает только 25 последних записей

Answer 1

[frees2]

Так парсить можно, довольно просто, вырезать и убирать теги, это даже легче чем их лента.
Но там разные темы и темы меняются иногда. Лента очень тяжеловесная и она тормозит.

Comments

[druzhanja]

я имел ввиду как получить ссылки на все страницы блога

[druzhanja]

если на ленте допустим 5000 записей, как быстро и легко спарсить все ?

[frees2]

druzhanja: странный вопрос, парсите страницу с адресом, вырезаете все лишнее или даже свою ленту делаете, лет пять назад так и делал пока они не надоели, сам сайт тормоз, медленный.

[frees2]

Забыл сказать, обязательно теперь через $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $fff);
curl_setopt($ch, CURLOPT_USERAGENT, 'PHP Bot');
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_exec($ch);
$json = curl_exec($ch);