Как можно получить такой список ссылок?

Question

[lagudal]

Прошу прощения, если какие то теги лишние - просто не знаю, как и на чем проще реализовать следующее.
Есть сайт, конкретно webshop, sitemap содержит все имеющиеся страницы, а всего их порядка 5000.
Мне нужно выделить из них только страницы категорий, и только на этих страницах и только в строго определённых и обозначенных css-классами элементах найти все ссылки - a href- не имеющие css-классов, т.е. не имеющие атрибута class и вынести эти ссылки в отдельный список.
У всех страниц категорий body содержит class catalog-category-view.
Искать ссылки нужно в DOM только внутри четырех классов: before-subcat, after-subcat, category-view и add-cat-info

Минимально будет достаточно вывести все такие ссылки в один файл, оптимально - выделить по страниицам и классам, в которых они будут найдены, например:

url страницы - https://mysite/category01

before-subcat:
https://mysite/ссылка
https://mysite/ссылка

after-subcat:
https://mysite/ссылка
https://mysite/ссылка

category-view:
https://mysite/ссылка
https://mysite/ссылка

add-cat-info:
https://mysite/ссылка
https://mysite/ссылка

PS. ИИ предлагает варианты на php и питоне, но что-то не работает ничего
Я же могу только на js по отдельности на каждой странице, как это автоматизировать?

Comments

[Ипатьев]

Ну то есть раз ИИ не справился, то так уж и быть, пусть кожаные мешки побегают?

[alexalexes]

Вот и выросло поколение программистов, которые не могут написать парсер на коленке на встроенных методах PHP/Python.

Начните писать с рекурсивной функции обхода sitemap. Потом освоите DOMElement, чтобы заглядывать в содержимое страницы. Вот туда прикрутите свои хотелки по соответствию классам.
Регулярки не предлагаю - утоните в общении с ИИ на эту тему.

[Adamos]

alexalexes, я правильно понимаю, что вы помогаете ТС написать парсер - СОБСТВЕННОГО САЙТА?..

[GavriKos]

Adamos, да вроде нигде небыло указания что сайт собственный. Иначе нафига через дом это делать

[Adamos]

GavriKos,

https://mysite/ссылка

;)

[alexalexes]

Adamos, замените в парсере метод получения контента страницы на sql запрос - вы получите ту же задачу в рамках обработки одной ссылки.

У всех страниц категорий body содержит class catalog-category-view.
Искать ссылки нужно в DOM только внутри четырех классов: before-subcat, after-subcat, category-view и add-cat-info

Если конечно, в этой формулировке нет проблемы A/B. То есть, нужно не по DOM-у ходить, классы искать, а работать с шаблонами CMS и анализировать правила, которые записывают эти классы в выходной документ. То в этом случае, да, задача решается по другому.