Как получить список доменов, на которые ссылается данный сайт?

Question

[propovednik]

Захотел получить список сайтов в определенной географической области и отрасли. Идея: взять список сайтов, которые я уже знаю, пустить туда краулера, он выяснит на какие сайты ссылаются имеющиеся у меня сайты, затем пройдется по ним и т.д.
Однако выяснилось, что такого функционала в любимом wget нет. То есть можно заставить его начиная от определенного домена скачать весь интернет, но функции просто предоставить список доменов нет.
Есть способ заставить wget сделать то, что я хочу либо быть может есть какой-нибудь легкий краулер, который бы выполнял именно такую задачу (то есть поиск сайтов, на которые ведут ссылки с текущего сайта)?

Answer 1

[Дмитрий Энтелис]

Ищете регулярками все конструкции href="([^"]+)", выдираете из них домен, сохраняете куда нибудь.