Как сделать парсер статей?

Question

[Узаир Ижа]

Есть ли примеры? Какие не будь наводки или алгоритм действия. Хочу научится не знаю с чего начать.
Парсер с сайта на сайт

Answer 1

[Владислав Копылов]

Beltoev верно все написал. Для реализации можно воспользоваться всякими готовыми библиотеками, например simplehtmldom.sourceforge.net

Comments

[Александр]

Есть еще не плохая PhpQuery

Answer 2

[Зелимхан Бельтоев]

А что именно вызывает сложности?

Тут как бы алгоритм банальный:

1. Берем список адресов всех нужных нам статей и проходимся по нему
   
2. Получаем содержимое страницы (file_get_contents можно использовать)
   
3. Определяем, какие данные нам интересны (например, всё, что внутри блока <div class="content">...</div>)
   
4. Получаем эти данные какой-нибудь регуляркой и пишем себе в БД
   
5. Профит
   

Это пример самого простого парсера.

Дальше можно наращивать функционал (автоматическое определение новых статей на сайте по cron-у, загрузка изображений на свой сервер и замена ссылок на них в статьях, либо подмена ссылок на изображения посредством .htaccess и т. д. и т. п.)

Уверен, есть готовые библиотеки для этого, но и самому это сделать не так уж и сложно

Comments

[Узаир Ижа]

Как например работает 3 пункт? вернее как его реализовать?

[Ivanq]

Узаир Ижа: preg_match() гуглите

[Omich]

Ivanq: stackoverflow.com/questions/1732348/regex-match-op...