Как улучшить php функцию для получения Title удаленной страницы?

Question

[GM2mars]

Такой скрипт:

function titleLink($url) {
    //проверяем, если кириллический домен, то конвертируем его
    if (preg_match('/[а-яА-Я]/', $url)) {
      require_once('modules/idna_convert.class.php');
      $convert=new idna_convert();
      $url=$convert->encode($url);
    }
    $title="";
    //получаем удаленную страницу
    @$page=file_get_contents($url); 
    if ($page) {
      //находим и выдираем титул
      if (eregi("<title>(.*)</title>", $page, $out)) {
        $title=$out[1];
       //проверяем кодировку, если windows-1251 то конвертируем в utf-8
        if (mb_check_encoding($title, 'Windows-1251') && !mb_check_encoding($title, 'UTF-8')) {
          $title=iconv("CP1251//IGNORE", "UTF-8", $title);
        }
      }
    }
    return $title;
  }

Результат получаю где-то в 75% запросов. Причем титул бывает не удается получить с самых обычных среднестатистических страницах и даже например, на второй и третьей страницы получил титул, а на четвертой не получил, с одного сайта.
Как можно улучшить работу скрипта, для более успешного парсинга?

Comments

[vdem]

eregi() - устаревшая и не рекомендуется для использования. См. функции preg_xxx().

Answer 1

[IceJOKER]

в одном месте mb_ в другом iconv - может быть стоит все-таки пользоваться mb_?
в одном месте preg_match() в другом eregi, да вы издеваетесь :D
mb_convert_encoding($title, 'utf-8'); //он сам определит кодировку .

preg_match('~(.*?)~iu'); //i-регистронезависимый поиск, u-для utf-8 кодировки

<?php
function getTitle($url) {
    if(!$url) return ;
	$url = 'http://'.parse_url($url, PHP_URL_HOST);
	//проверяем, если кириллический домен, то конвертируем его
    if (preg_match('/[а-яА-Я]/i', $url)) {
      require_once('modules/idna_convert.class.php');
      $convert=new idna_convert();
      $url=$convert->encode($url);
    }
    $title="";
    //получаем удаленную страницу
    @$page=file_get_contents($url); 
    if ($page) {
      //находим и выдираем титул
      if (preg_match("~<title>(.*?)</title>~iu", $page, $out)) {
        $title=$out[1];
       //конвертируем в utf-8
        mb_convert_encoding($title, 'utf8');
      }
    }
    return $title;
  }
echo getTitle('http://toster.ru/q/траляля');

?>

Comments

[GM2mars]

Собирал из разных скриптов, что-то сам дописывал, методом проб и ошибок вывел этот скрипт. С кодировкой было много проблем, поэтому собрал солянку.
Не могли бы вы выразить свой ответ в виде готового скрипта (второй части, после получения страницы)?

[Push Pull]

@GM2mars я люблю ленивых программистов, но не настолько. и хоть это не относится ко мне, пишите код сами, замечания вы получили.

[GM2mars]

@IceJOKER Спасибо, сегодня потестирую.

[IceJOKER]

@GM2mars не за что, я уже сам протестировал )) phpfiddle.org . не .рф домены

[GM2mars]

@IceJOKER вспомнил, почему двойную проверку кодировки делал. 'gameland.ru' - ваш вариант не получает титул (мой получает). Думаю "магию с кодировкой" не буду трогать )). Ну это ладно, эта проблема у меня решена и она только для страниц с кодировкой windows-1251. Больше интересует из-за чего иногда не может получить заголовок одного сайта у разных страниц. Я пробовал с хабра парсить разные статьи, где-то выдирает, а где-то нет (О_о)

[IceJOKER]

@GM2mars может потому что проверка url неправильная )) то есть ссылка вида habrahabr.ru/алярусскиебуквы.html тоже попадает под регулярку )) сделайте проверку только хоста, а не целой ссылки

[GM2mars]

@IceJOKER проверка только хоста. Всё равно спасибо за помощь. Меня больше интересует другой вопрос, сейчас проверял на хабре, первый раз не приходит заголовок статьи, второй раз приходит, третий - может опять не придти. Я думаю надо ограничить чтение страницы только до ''

[IceJOKER]

@GM2mars по признакам - на хабре просто запрет по-ходу стоит на множественное обращение.
если обращаетесь к одной странице, то может стоит один раз проверять, а потом в кэш занести?

[GM2mars]

@IceJOKER не подходит. Чаще бывает что с первого раза не получает, а со второго получает. Обращался к разным статьям.