Как в программе XENU исключить из сканирования ссылки по маске regexp?

Question

[Yuriy]

Всем привет, можно ли как-то в программе XENU исключить из сканирования ссылки по маске, например не сканировать
ссылки вида
(.*)/?blalla
(.*)/*.(jpg|gif|svg|png)

Answer 1

[Александр Денисов]

Попробуйте убрать скобки. По крайней мере в Screaming Frog так работает.
.*/?blalla
.*jpg
.*gif
.*svg
.*png
И со страницы, которую вы подаёте на вход для парсинга должны идти ссылки на эти страницы, т.е. краулеры не сканируют страницы через одну/две и т.д.

Comments

[Yuriy]

Пробовал, не помогает... Я подаю главную страницу сайта

[Александр Денисов]

Yuriy, а страницу каталога пробовали отдавать?

[Yuriy]

Александр Денисов, пробовал, он всё парсить что попадается у него на пути... и картинки и фильтры и сортировки..

мне нужно выцепить Дубли страниц... среди этого мусора сложно... хотелось сразу в Эксель только страницы каталога.

[Александр Денисов]

он всё парсить что попадается у него на пути... и картинки и фильтры и сортировки..

Так по вашей регулярке он и должен парсить фильтры, сортировки и картинки.

[Yuriy]

Александр Денисов, я как пример регулярки привел

нужно отсечь ссылки вида
/(.*)?(.*)
/(.*)/upload/(.*)
/(.*)/filter/(.*)