Парсер с Яндекса в WordPress?

Question

[sergey1989]

Доброго времени суток. Хочу попробовать написать парсер новостей с Ya в WordPress. Посоветуйте, пожалуйста, какую библиотеку лучше использовать для таких целей? В настоящее время планирую PHP Simple Dom + Curl. И лучше результат парсинга записывать в таблицу записей WordPress и запускать скрипит через Cron или выводить результаты непосредственно через сам парсер? И какие подводные камни могут быть в такой задачи?

Answer 1

[Daemon23RUS]

Копайте в сторону RSS
https://news.yandex.ru/export.html

Answer 2

[Silm]

Если будете разбирать html, то инструменты в принципе правильные, возможно стоит по-сравнивать PHP Simple Dom с другими библиотеками для разбора dom и неплохо чем то обернуть curl, чтобы приятнее было запросы отправлять и принимать ответы.

Если будете работать с фидом, то разбирать dom вам не понадобится.

И лучше результат парсинга записывать в таблицу записей WordPress и запускать скрипит через Cron или выводить результаты непосредственно через сам парсер?

Если из результатов парсинга будет формироваться постоянное содержимое сайта, то в таблицу. Вообще зависит от деталей вашей идеи.

И какие подводные камни могут быть в такой задачи?

Яндекс достаточно ревностно относится к парсингу его контента. Через некоторое количество подозрительных запросов можете начать получать капчу. Придется как-то ее обходить.

Comments

[sergey1989]

Нужно 5 главных новостей на индексной спарсить, затем содержимое внутри этих страниц.

[Kulay]

Можно использовать PhantomJS, чтобы Яндекс не забанил

[Kulay]

К тому же он умеет парсить динамические сайты (если вдруг попадется такой в выборке новостей)

Answer 3

[Юрий]

C яндекса список 5 новостей со ссылками спарсить очень легко.
но подводный камень в том что яндекс только дает ссылки на другие сайты, и конетнт придется с них парсить.

а парсить главный контент произвольного сайта это задача over 100 lvl

Comments

[sergey1989]

Я хочу применить первый цикл, который будет парсить первые 5 ссылок, а внутри этого цикла создать еще один цикл на парсинг внутри 5 линков.

[Юрий]

sergey1989: я понимаю )
сначлаа вы спарсите новости получите например ссылку на новость
https://news.yandex.ru/yandsearch?cl4url=rusnovost...

далее вы получите список 3+ ссылок на разные саайты где идет текст этих новостей.
например берем первую
rsport.ru/biathlon/20160123/891437472.html
а как ее контент спарсить? то есть вытащить основное содержимое а не весь текст, там много лишнего, баннеры, комменты и тд. и на каждом сайте все индивидуально.

[sergey1989]

Юрий: Это да...если конечно у них поставщики новостей постоянны то можно создать условие по адресу сайта, хотя задача и правда не простая.

[Юрий]

sergey1989: мне кажется их поставщики = все новостные порталы рунета.
и задача очень сложная, как то пытался сделать себе подобную штуку, не получилось.
хотя есть алгоритмы, есть готовые проекты но все это работает не идеально, работает не во всех случаях, слишком уж разнообразен веб.

в лучшем случае вам надо составлять какой нибудь топ 100 сайтов на которые ссылаются яндекс и делать индивидуальные парсилки для них.