Парсинг контента на Wordpress — каким средством это можно реализовать?

Question

[Илья Савельев]

Дано: несколько сайтов, рубрики которых необходимо спарсить себе.
Проблема: на этих сайтах нет общего URL, под которым находятся записи + RSS отсутствует.

Пример: нужно спарсить новости, список которых находится на site.ru/news/, а урл детальной новости имеет вид site.ru/nazvanie-novosti/. То есть отсутствует общий признак в URL

Плагины aftparser парсер умер - не работает с версией php >= 7, wpgrabber либо по html либо по RSS источнику работает - ни в том ни в другом случае не получается настроить.

Посоветуйте решение?

Answer 1

[uRoot]

Я знаю платные плагины для WP: Sсrареs - тут ты вызуально указываешь где текст, где картинка, а где заголовок. Плагину побоку откуда парсить контент.

Answer 2

[LegoG]

Для Wordpress есть парсер plink.top, платный, но работает именно так, как вам надо

Answer 3

[Александр Соболев]

Вы имеете доступ к админкам ?

Comments

[Илья Савельев]

нет, нужно спарсить с чужого сайта

[Александр Соболев]

Первое что пришло в голову: Проверьте сайты на включенный rest-api
site.domen/wp-json/wp/v2/posts
Что дает эта строка?

[Илья Савельев]

Александр Соболев, на одном 404 ошибку, на другом json вывод

[Александр Соболев]

Пока второй не просек что к чему - парсите json ) С первым сложнее.. надо искать "технологические отверстия" )

[Илья Савельев]

Александр Соболев, первый кстати на битриксе и у него отключенный RSS :(

[Александр Соболев]

Илья Савельев, так как тег темы wordpress - то и "решение" в области wordpress Вообще оставлять rest открытым - плохо. Но, как правило, >> 90% "тыжадминов" не думают об этом, и приглашают ломать их сайты, и пиз.. парсить контент в том числе. С Битриксом совсем другая история.. там наверняка есть свои "дыры", но я с ним не работал..

[Илья Савельев]

Александр Соболев, логично по поводу тега, спасибо )

Answer 4

[Орхан Гасанлы]

Пример: нужно спарсить новости, список которых находится на site.ru/news/, а урл детальной новости имеет вид site.ru/nazvanie-novosti/. То есть отсутствует общий признак в URL

Да, действительно и мне не удалось при помощи WPGrabber парсить подобные страницы.
А почему бы не написать свой парсер на рнр или на любом другом языке и поставить на СRON? Грубо говоря, из /news получить список ссылок, пройтись по списку и спарсить контент. А дальше сформировать из него sql файл и скормить ВП (или как вариант спарсить в таблицу xls, а дальше плагином WP All Import импортировать на сайт + создать CRON задачу на импорт таблицы плагином WP All Import).

Если нужно спарсить разово контент, то очень хорошая программа Visual Web Ripper. Визуально выбираешь что парсить, указываешь пагинацию и т.д., а дальше программа парсит и формирует таблицу. Остается при помощи WP All Import импортировать.

Answer 5

[qwerscom]

wpgrabber qwew.ru/wpgrabber/2525-wpgrabber-4-9-8.html

Answer 6

[usten]

Такая же ситуация, мне нужно спарсить один сайт, но что бы парсился ежедневно, а идеале каждый час.
пробовал wpgrabber, но не получается и хостинг ругается на данный плагин, что он якобы высокую нагрузку делает и пустые запросы.
Нужно спарсить данный сайт кто звонил нужно парсить название и описание, если каким-то образом можно настроить, что бы парсить и комментарии, то вообще отлично. Буду рад помощи, готов заплатить до 2000 руб.
Так же есть еще 3 сайта есть, которые так же нужно парить ежедневно.