Как спарсить все ссылки с чужого сайта?

Question

[Влад]

Мне необходимо спарсить с чужого сайта все текстовые внешние ссылки.

То есть надо запустить некий процесс, который обойдёт все страницы сайта, и выпишет все найденные внешние некликабельные ссылки.

Результат желательно в виде
урл страницы сайта, где была найдена ссылка -> найденная ссылка

Подскажите, пожалуйста, есть ли готовые программы для этого или какие еще варианты это сделать?

Answer 1

[Степан]

Возможно, это подойдёт: www.scripts.morshed-alam.com/url-scraper-php

Answer 2

[Evgeny Svirsky]

Если есть навыки программирования то Symfony-вский crawler легко справится с этой задачей. Простенький скрипт будет.

Answer 3

[f9k56]

Сделал бы так. Wget-том вытащил сайт на локалку, потом обработал Content Downloader.