Источники для написания парсера?

Question

[Дмитрий]

Здравствуйте.
Подскажите источник где можно прочесть про специфику написания парсера.
На данный момент есть цель научиться парсить каталоги товаров и хотелось бы это делать самостоятельно.
Но если вы знаете какие-то грамотные, реализованные решения, я бы с удовольствием их рассмотрел тоже.
Спасибо.

Answer 1

[Александр Кузнецов]

TLDR - для opencard пример парсера https://parsemx.com

Я никогда не задавался поиском на подобную тему, так как считаю это занятием, не особо того стоящим.
В вашем случае, вы желаете разобрать входящий слабоструктурированный/структурированный текст в набор определенных сущностей.
Перво-наперво, вам нужно выявить, что за основной формат входного текста (html, xml, json, текст просто).
Дальше, в зависимости от формата, вы выбираете стратегию. К примеру, если это html, то его можно почистить (tidy) и попробовать привести к XML. Зачастую это срабатывает нормально. Если нет - нужно разбирать конкретные случаи.
После того, как вы получили XML, вам нужно выделить минимальрный повторяющийся элемент, описывающий продукт. И просто пройтись по нему через XPath.

Comments

[Дмитрий]

Это уже фактитчески модуль под опенкарт. Мне бы отдельно) а еще интереснее самостоятельно приступить к написанию.

[Александр Кузнецов]

Дмитрий: Ну тогда все написано после TLDR. Модуль же приведет в качестве примера, изучив его, можно почерпнуть в подходах.

nepster-web вам предложил инструмент для преобразования ресурса в Xml-подобный документ и обхода его. К слову, отличный инструмент.

Снизу инструмент из ответа использует DOMDocument для работы, но, что немного странно, работает через load, а не через php.net/manual/ru/domdocument.loadhtml.php .

Суть моего ответа в том, что вы не ограничены стуктурированными данными, есть еще и не структурированные - файлы различного содержания и т.п., и к ним нужен свой подход.

Удачи с парсингом!

[Дмитрий]

Спасибо за развернутый ответ)

Answer 2

[nepster-web]

Так, а в чем проблема ?
https://github.com/symfony/dom-crawler

Comments

[Дмитрий]

Вот за это спасибо большое)
буду пробовать.

[Александр Кузнецов]

nepster-web для моего TLDR это было бы более лучшим примером, чем тот, что я привел :)

Answer 3

[4iloveg]

https://github.com/Imangazaliev/DiDOM/blob/master/...

Comments

[Дмитрий]

вот все прекрасно, но как поставить его, не могу понять :(

[4iloveg]

Читаешь/ сморишь видео о том что такое композер, как его ставить и зачем он нужен.
Далее в консоли пропишешь команду composer require imangazaliev/didom и скрипт будет загружен

[Дмитрий]

вот видео я и не нашел по Didom ....

[4iloveg]

Дмитрий: А по нему и не нужно искать. Там в риадми всё доступно написано. Нужно подтянуть знания php если примеры вызывают затруднение.
Либо найди человека который разжует тебе. Но навряд ли кто то возьмется проводить уроки за бесплатно.