Как собрать все ссылки на сайте, php?

Question

[Кирилл Горелов]

Ребят. Как собрать все ссылки, которые есть на сайте, а так же файлы, картинки и другие?
Регуряное выражение уже написал.
А вот как это собрать с каждой странице, у меня не получается. Потому что надо учесть что бы не было дубликатов и что бы по каждой ссылке парсер прошелся одни раз.
Тут надо скорее всего рекурсивно проходить? Если да, то я что-то запутался в этой рекурсии.
Может уже кто готовое знает или уже кто писал на php?

ВОт что я пробовал написать:
getURL() - функция, которая скачивает файл. Я ее не стал сюда вписывать.

$arr_link = array();
function get_first_link($site){
  $result = getURL($site); 
    $result = implode($result);
    if($result === false){continue;}
    
    preg_match_all("/<[Aa][\s]{1}[^>]*[Hh][Rr][Ee][Ff][^=]*=[ '\"\s]*([^ \"'>\s#]+)[^>]*>/", $result, $matches);
  $urls = $matches[1]; 
   $urls  = array_unique($urls);
  foreach($urls as $val){
    //  echo $val."<br />";  // вывожу все ссылки
    $link = parse_url($val);
    if(empty($link['host'])){
    //   $flag =  in_array($val, $arr_link); 
      //  if($flag === false){
        $arr_link[] = SITE.$val;
      //  echo SITE.$val."<br />";
       // }
       //get_link($site.$val);
    }
  }
  return $arr_link;
}

function get_second_link($arr){
    foreach ($arr as $val) {
          $result = getURL($val); 
    $result = implode($result);
//print_r($result);
 preg_match_all("/<[Aa][\s]{1}[^>]*[Hh][Rr][Ee][Ff][^=]*=[ '\"\s]*([^ \"'>\s#]+)[^>]*>/", $result, $matches);
  $all[] = $matches[1];
    }
    
    $urls = $all; 
   $urls  = array_unique($urls);
   print_r($urls);

}
// print_r(get_first_link(SITE));
$n = get_first_link(SITE);
get_second_link($n);

Comments

[Denis Skripchenko]

/**
 * Date: 05.05.17
 * Time: 17:42
 */

namespace app\components;

/**
 * Class UrlGrabberService
 * @package app\components
 */
class UrlGrabberService
{
    public $newLink = [];
    public $savedLink = [];
    public $siteUrl = false;

    /**
     * @return static
     */
    public static function getInstance(){
        return new  static();
    }

    /**
     * @param $url
     * @return array
     */
    public function getAllLinkBySite($url){
        $this->newLink = $this->getAllLinkByUrl($url);
        while(!empty($this->newLink)){
            $link = array_shift($this->newLink);
            $this->savedLink[] = $link;
            $this->addLinkByUrl($link);
        }
        return $this->savedLink;
    }

    /**
     * @param $url
     * @return array
     */
    protected function getAllLinkByUrl($url){
        $pattern = '/<a[\s\W]*?href\S*?=\S*?[\'"](\/\w.*?)\/?[\'"]/';
        $headers = @get_headers($url);
        if(strpos($headers[0],'200')===false){
            $result = [];
        }
        else{
            $opts = array('https'=>array('header' => "User-Agent:MyAgent/1.0\r\n"));
            $context = stream_context_create($opts);
            $content = \file_get_contents($url,false,$context);
            $matches = [];
            preg_match_all($pattern,$content,$matches);
            $result = array_unique($matches[1]);
        }
        return $result;
    }

    /**
     * @param $url
     */
    protected function addLinkByUrl($url){
        $this->newLink = array_merge($this->newLink,$this->getAllLinkByUrl($this->siteUrl . $url));
        $this->newLink = array_unique($this->newLink);
        $this->newLink = array_diff($this->newLink, $this->savedLink);
    }
}

$result = UrlGrabberService::getInstance()->getAllLinkBySite('http://example.com');

Answer 1

[Сережа Ахен]

Вот этот парсер использовал, легко переписать и изменить шаблон с xml на нужный тебе. Достаточно быстро прогуливается по сайту, собирает ссылки и редиректы поддерживает. Рекурсия как-раз.

https://www.plop.at/en/xml-sitemap.html
https://github.com/iprodev/PHP-XML-Sitemap-Generator (вроде как модифицированная версия)