Как получить список доменов, на которые ссылается данный сайт?
Захотел получить список сайтов в определенной географической области и отрасли. Идея: взять список сайтов, которые я уже знаю, пустить туда краулера, он выяснит на какие сайты ссылаются имеющиеся у меня сайты, затем пройдется по ним и т.д.
Однако выяснилось, что такого функционала в любимом wget нет. То есть можно заставить его начиная от определенного домена скачать весь интернет, но функции просто предоставить список доменов нет.
Есть способ заставить wget сделать то, что я хочу либо быть может есть какой-нибудь легкий краулер, который бы выполнял именно такую задачу (то есть поиск сайтов, на которые ведут ссылки с текущего сайта)?
