Есть ли смысл писать библиотеку для сканирования сайтов?

Question

[Кирилл Парасотченко]

Хочу написать библиотеку на php для получения ссылок и элементов форм на странице сайта.
Принцип работы скрипта:
1) скрипт получает абсолютный uri страницы сайта
2) возвращает все внутренние ссылки страницы в абсолютном, декодированном, канонизированном виде; возвращает массив с формами на указанной странице

Алгоритм работы скрипта:
1) запрос на указанный uri через curl
2) приведение html к валидному виду и построение dom-модели
3) запросы xpath для получение нужных dom-элементов
4) самописные алгоритмы для обработки всех найденных uri

Идея создания подобной библиотеки у меня родилась год назад, когда надо было решать подобные задачи. Удалось нагуглить вот что. Но там какой-то баг с авторизацией, так что толком исследовать предложенный в теме скрипт не получилось.

Есть ли смысл в написании подобной библиотеки, или я изобретаю велосипед?

Answer 1

[Кирилл Парасотченко]

раз никто не подтвердил, что это велосипед - возьмусь за разработку

UPD:
https://github.com/taiyonoryoshy/scan-site

Answer 2

[Вадим Яковлев]

помимо DOM_Element, на php есть неплохая библиотека phpQuery.

И главный вопрос - зачем? Так-то идея хорошая, но найдет ли она практические применение?

Comments

[Кирилл Парасотченко]

Я так понял phpQuery медленно работает. По поводу практического применения, думаю, что оно найдется. Мне бы год назад такая библиотека пригодилась. Вопрос задал потому, что боюсь изобретать велосипед.

Answer 3

[Алексей Сундуков]

Это конечно же велосипед, но если хочется его написать, в чем проблема? Пишите.

Велосипед это по одной простой причине. Люди с большим опытом парсинга и так уже имеют свои наработки (к примеру, у меня есть кастамизируемый парсер загрузки каталогов добавление к которого нового сайта занимает 1-4 часа) и им велосипед не нужен. А люди без опыта скорее всего воспользоваться адекватно им не смогут.

Comments

[Кирилл Парасотченко]

Имхо, все относительно. Да, у кого-то есть свое похожее решение. Но я спрашивал о способе решения подобной задачи в открытом доступе, с более широким функционалом, более правильным подходом и т.д. Хотя, конечно, если это никому не пригодится, нет смысла и заниматься этим. Но, я надеюсь, пригодится.