Как найти дубли URL через регулярные выражения?

Question

[Михаил Лялин]

Как найти дубли URL (например, www.habr.ru и habr.ru, https://habr.ru и www.habr.ru) через регулярные выражения?

P.S. habr.ru и habr.ru/test.htm / habr.ru и habr.ru/yyy/.. уже разные url

Comments

[Rsa97]

example.com и www.example.com вполне могут быть абсолютно разными сайтами.

[AUser0]

(www\.)? вам помогут.

[Dimonchik]

example.com и www.example.com вполне могут быть абсолютно разными сайтами.

а example.com и example.com/index.html - одинаковыми

[сергей кузьмин]

микроскоп треснул - подозреваю я его неправильно держал

Answer 1

[Владимир Коротенко]

Не используйте регекспы для логики. Это главный совет. Используйте код в этом случае.
Нормализуйте все ваши ссылки, а дальше используйте поиск, либо используйте хэш таблицу, там вообще получится

Answer 2

[Dimonchik]

думаю, вам надо это
https://www.linkedin.com/pulse/regex-seo-cheatshee...

но вообще задача сложнее и без конкретики нет точного ответа
а) если очистить только домены - это одно
б) если острипить только www и схему - это другое

Answer 3

[mayton2019]

Эта задачка не на регулярки а на программирование. Если у вас есть список этих URL в виде CSV, то надо брать язык который вы знаете (PHP или Node) и писать логику нормализации. А потом унификации. Например.

Input:

habr.ru
habr.ru/test.htm
https://habr.ru
habr.ru/yyy
www.habr.ru
https://habr.ru

нормализуем. Отбрасываем например название протокола

habr.ru
habr.ru/test.htm
habr.ru
habr.ru/yyy
www.habr.ru
habr.ru

Сортируем

habr.ru
habr.ru
habr.ru
habr.ru/test.htm
habr.ru/yyy
www.habr.ru

И вот они дубли 3 штуки. Можете итератором пройти и собрать. Или сделать agg/count в языке где
такое с коллекциями делают.

И никаких регулярок.