Как определить что поисковый бот а не человек?

Question

[Сергей]

Есть модуль который определяет город и перекидывает на поддомен принадлежащий этому городу. Поисковик (яндекс) заходят на сайт перебрасывается на Москву.
Думаю надо проверить является ли посетител ботом и если нет, то не редиректить его.
Как можно точно определить что на сайт зашел поисковик?

Comments

[FanatPHP]

Думаю, что надо не перекидывать, а СПРАШИВАТЬ.
Как же задолбали такие горе-недоучки, которые лучше меня знают, в каком городе я живу, на каком языке хочу видеть сайт...

[Сергей]

бла бла бла. Не твое дело как надо. Как клиент хочет так и делаем, а ты бы лучше отвечал по существу, чем флеймить без повода. Нечего сказать - молчи!

[Антон Шамов]

Вырвано из контекста.
xdan.ru/How-to-detect-on-PHP-if-a-page-is-visited-...

Но это так к слову. А вот логика не понятна.
Начерта тут $botname = $bot; если функция нам вернёт тру или фальш? Видать откуда-то ещё корявые ручонки передрали функцию. Так что требует переваривания для работоспособности кодик. Но главное идея, а как ей крутить это понятно.

[Борис Лапин]

$botname - это ссылка, на переменную, что передается в аргументах к функции. Все нормально.

Answer 1

[Евгений Калибров]

Вот есть решение на всех известных ботов:

function isBot(&$botname = ''){
/* Эта функция будет проверять, является ли посетитель роботом поисковой системы */
  $bots = array(
    'rambler','googlebot','aport','yahoo','msnbot','turtle','mail.ru','omsktele',
    'yetibot','picsearch','sape.bot','sape_context','gigabot','snapbot','alexa.com',
    'megadownload.net','askpeter.info','igde.ru','ask.com','qwartabot','yanga.co.uk',
    'scoutjet','similarpages','oozbot','shrinktheweb.com','aboutusbot','followsite.com',
    'dataparksearch','google-sitemaps','appEngine-google','feedfetcher-google',
    'liveinternet.ru','xml-sitemaps.com','agama','metadatalabs.com','h1.hrn.ru',
    'googlealert.com','seo-rus.com','yaDirectBot','yandeG','yandex',
    'yandexSomething','Copyscape.com','AdsBot-Google','domaintools.com',
    'Nigma.ru','bing.com','dotnetdotcom'
  );
  foreach($bots as $bot)
    if(stripos($_SERVER['HTTP_USER_AGENT'], $bot) !== false){
      $botname = $bot;
      return true;
    }
  return false;
}

Использование:

if( isBot($bname) ) {
   // Перебрасываем на Москву
}

Comments

[Сергей]

Спасибо. А есть шанс что боты яндекса или гугла могут проскочить через это?

[Евгений Калибров]

Нет, в документациях яндекса указываются конкретные "HTTP_USER_AGENT", которые используют их боты.

[Евгений Калибров]

Думаю в гугле тоже самое

[FanatPHP]

Есть, разумеется. rework: читай документацию яндекса лучше

[Евгений Калибров]

FanatPHP, Сергей
help.yandex.ru/webmaster/robot-workings/check-yand...

[frees2]

Вообще не правильное решение, ботов гораздо больше чем вы думаете. Надо от обратного, определять не бота а человека у которого браузер и прочяя фигня, это даже легче.

[Сергей]

frees2: вы правы, но здесь список наверно 95% ботов по популярности, если не 99.

[frees2]

Сергей: вот украинский бот из коллекции, записал давно еще, до революции, он имитирует браузер в строке "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0";

[Сергей]

frees2: Ну такой мне явно не к чему, мы ориентируемся максимум на 5 ПС

Answer 2

[l2sap]

Спасибо Евгений Калибров за скрипт. Пользовался данным скриптом некоторое время. Позже решил упростить его. Мой скрипт универсальный, ловит любого робота: Google, Yandex, Yahoo и Bing. Он удобен тем, что не нужно перечислять роботов каждого отдельно и здесь мы обходимся без циклов, что работает в несколько раз быстрее. Проверено, ботов находит идеально! Пробуйте и юзайте на здоровье.

class ScanBot
{

    public function isBot()
    {

        $down_reg = mb_strtolower($_SERVER['HTTP_USER_AGENT']);
        $down_reg = str_replace(array(' '), '', $down_reg);

        $find_bot_step1 = str_replace(array('yandex', 'google', 'yahoo', 'bing'), ' this_is_bot! ', $down_reg);
        $find_bot_step2 = explode(' ', $find_bot_step1);

        if ($find_bot_step2[1] == "this_is_bot!") {
            return true;
        }

        return false;
    }
}

Answer 3

[ctacua]

class BotDetector
{
    public function isBot()
    {
        $userAgent = $_SERVER['HTTP_USER_AGENT'];

        $botPatterns = [
            '/bot/i',
            '/crawler/i',
            '/spider/i',
            '/curl/i',
            '/facebookexternalhit/i',
            '/twitterbot/i',
            '/pingdom/i',
            '/google/i',
            '/yahoo/i',
            '/bing/i'
            // Добавьте другие паттерны для определения ботов по User-Agent
        ];

        foreach ($botPatterns as $pattern) {
            if (preg_match($pattern, $userAgent)) {
                return true;
            }
        }

        return false;
    }
}