Cкрыть сайт от всех пользователей, кроме поисковых роботов laravel?

Question

[Павел Кончич]

У меня в данный момент нет примера кода, потому что я не понимаю, как можно реализовать данное решение даже на классическом PHP. И хотелось бы поинтересоваться у Вас!

В общем задача такая:

Закрыть website от всех юзеров!
Вместо вебсайта показывать по всем роутам заглушку (любой html template)
Разрешить доступ только поисковым роботам
Разрешить доступ по параметрам статическим в URL
Cобственно это и все - но как раз вот это я сделать и не могу( Подскажите, с чего нужно начать, или в общем схему решения данного вопроса!

Comments

[iBird Rose]

ну к примеру у ботов есть user-agent. если погуглить, то можно найти списки user-agent всех ботов. к примеру вот
ну а дальше просто делаешь проверку user-agent и меняешь данные, которые должны показываться в том или ином случае.
НО. тут конечно же вариант не будет 100%-ый. потому что человек может подменить юзерагент и попасть на твой сайт, если сильно захочет

[Павел Кончич]

iBird Rose, это понятное решение с поисковыми системами, а как закрыть от прямых посещений, и так-же пропускать по параметрам?

Принцип по user-agent это понятное дело. Тут вопросов не возникало

Answer 1

[jazzus]

Устанавливаем пакет jenssegers/agent

Создаем мидлварь IsRobot c кодом

if (!(new Agent)->isRobot()) {
    abort(404);
  }
return $next($request);

Добавляем мидлварь к файлу роутов в RouteServiceProvider

Route::middleware('web', 'isRobot')
...

Comments

[Павел Кончич]

Закрыть website от всех юзеров!
Вместо вебсайта показывать по всем роутам заглушку (любой html template)
Разрешить доступ только поисковым роботам
Разрешить доступ по параметрам статическим в URL

Ну допустим, для роботов поисковика я напишу расширенную версию, окей, не вопрос, усложню ее,

Для User-agent - юзеров - я выведу заглушку в цикле return view

а как по параметрам в URL я должен получить доступ к сайту?

[jazzus]

Павел Кончич, по каким параметрам? типа токена чтоли?) Если что в этой мидлвари можно любые проверки писать

if ((new Agent)->isRobot() or $request->input('token') == '123') {
  return $next($request);
}
abort(404);

[Павел Кончич]

jazzus, типа moisite.site/?key=true

то ест по сути мне нужно будет перебрать еще по неймам роботов если хочу пропускать яндекс и гугл только и переписать

$request->input('token') == '123')

на

$request->input('key') == 'true')

[Павел Кончич]

jazzus, я ведь правильно понял?

[jazzus]

Павел Кончич, нужно key = true делай так. Без разницы. Насчет гугла и яндекса это уже новые условия в вопросе не озвученные. Получить название робота можно так
$agent->robot()
возможно можно использовать, чтобы отфильтрвоать, не тестил

[Павел Кончич]

jazzus, ну я посмотрел код, я так понимаю там $agent->robot() выводит первое значение только Нейма робота.

А могу ли я вывести например код 200 и заглушку вместо abort(404)? например return view('layouts.block')?

[Сергей delphinpro]

Павел Кончич, Да вот же — написано:

https://github.com/jenssegers/agent#robot-detection

$agent = new Agent();
$robot = $agent->robot();
if ($robot == 'Yandex') {}

Названия ботов здесь - https://github.com/JayBizzle/Crawler-Detect/blob/m...

[Павел Кончич]

jazzus, или же без сторонних библиотек создать базу в которую я помещу просто нейминги всех user-agent которые мне нужны, создам middleware с перебором таблицы на match просто и все, зачем же мне тогда целый пакет лепить)

[Павел Кончич]

Сергей delphinpro, jazzus, ладно, завтра уже протестирую все варианты, если что вам уже + за то, что хоть помогли немного мысли собрать)

[T3R3AND]

Павел Кончич, или сделайте так

$agent = new Agent();
$robot = $agent->robot();
$robots = [ 'Yandex', ... ];
if ( in_array($robot, $robots) ) {}

[jazzus]

Павел Кончич,

протестирую все варианты

это хорошая мысль)

зачем же мне тогда целый пакет лепить

ну что тебе нужно только ты знаешь. Судя по твоим комментариям ты не знал как ограничить в Ларавел. Я написал как это сделать за 2 минуты. И в хороших пакетах ничего плохого нет. Этот агент мне в нескольких задачах пригодился.

[Павел Кончич]

jazzus, Ну этот пакет у меня используется в админке и так для Статистики подробной на другом проэкте как и steavebauman для mobileDetect

[Павел Кончич]

Павел Кончич, все супер я переписал

Сейчас оставлю решение уже может кому то понадобится
Middleware->isRobot

public function handle(Request $request, Closure $next)
    {
        if ((new Agent)->robot() == 'Yandex' or $request->input('turbo') == 'true') {
            return $next($request);
        }
        return response()->view('layouts.zaglushka');
    }

Karnel.php

protected $routeMiddleware = [
        'auth' => \App\Http\Middleware\Authenticate::class,
        'auth.basic' => \Illuminate\Auth\Middleware\AuthenticateWithBasicAuth::class,
        'cache.headers' => \Illuminate\Http\Middleware\SetCacheHeaders::class,
        'can' => \Illuminate\Auth\Middleware\Authorize::class,
        'guest' => \App\Http\Middleware\RedirectIfAuthenticated::class,
        'password.confirm' => \Illuminate\Auth\Middleware\RequirePassword::class,
        'signed' => \Illuminate\Routing\Middleware\ValidateSignature::class,
        'throttle' => \Illuminate\Routing\Middleware\ThrottleRequests::class,
        'verified' => \Illuminate\Auth\Middleware\EnsureEmailIsVerified::class,
        'robot' => \App\Http\Middleware\isRobot::class,
    ];

'web' => [
            \App\Http\Middleware\EncryptCookies::class,
            \Illuminate\Cookie\Middleware\AddQueuedCookiesToResponse::class,
            \Illuminate\Session\Middleware\StartSession::class,
            // \Illuminate\Session\Middleware\AuthenticateSession::class,
            \Illuminate\View\Middleware\ShareErrorsFromSession::class,
            \App\Http\Middleware\VerifyCsrfToken::class,
            \Illuminate\Routing\Middleware\SubstituteBindings::class,
            \App\Http\Middleware\isRobot::class,

        ],

web.php

Route::group(['namespace' => 'Site', 'middleware' =>'web'], function() {
    // Base websites Urls
    Route::get('/', 'HomeController@index')->name('home');
    Route::get('/route2', 'HomeController@route2')->name('route2');

    // Redirects
    Route::get('/route3', 'RedirectController@index');
    Route::get('/download', 'RedirectController@download');

});

[jazzus]

Павел Кончич, лучше группу web не трогать и добавлять отдельно.

[jazzus]

и здесь

Route::group(['namespace' => 'Site', 'middleware' =>'web'], function() {

мидлварь не нужно указывать. Она и так у тебя отрабатывает в провайдере. Я же написал вроде как сделать)

[Павел Кончич]

jazzus, то как ты написал - не работает)

[jazzus]

Павел Кончич, да конечно не работает. Покажи свой RouteServiceProvider. Секция подключения файла роутов.

Answer 2

[MKE]

Один из лучших вариантов - прописать правила в .htaccess, примерно так:

SetEnvIfNoCase User-Agent yandex AllowGroup
SetEnvIfNoCase User-Agent google AllowGroup
...
Order Deny,Allow
Deny from all
Allow from env=AllowGroup

Comments

[MKE]

И на PHP ничего делать не надо будет.

[MKE]

Если захотите добавить себя :) последнюю строчку можно так прописать:
Allow from env=AllowGroup 000.000.000.000
где 000.000.000.000 замените на свой ip адрес.

[Павел Кончич]

SetEnvIfNoCase User-Agent yandex AllowGroup
SetEnvIfNoCase User-Agent google AllowGroup
...
Order Deny,Allow
Deny from all
Allow from env=AllowGroup

Ну и как это решит конкретнуо мою проблему?

Если я по параметру даже не попаду, и мне не жестко нужно задавать IP для разрешения

[MKE]

Павел Кончич, предложенный вариант полностью решает поставленный Вами вопрос:

Cкрыть сайт от всех пользователей, кроме поисковых роботов

Вы чем-то недовольны? )
Обычно спасибо говорят в таких случаях.

Нюансы (дать доступ по параметру и т.д.) в это решение можно включить!
Я дал Вам хорошую подсказку. Попробуйте довести решение до финала самостоятельно.

[Павел Кончич]

MKE, нет, вариант без вопросов - хороший, просто не совсем знаю, как по закрытому доступу с кодом 200 заглушку отображать через htaccess

[MKE]

Павел Кончич, вместо deny/allow можно использовать редирект.
Если поисковик - не редиректить.
Если не поисковик - редиректить на заглушку.

Как-то так:

SetEnvIfNoCase User-Agent yandex AllowGroup
RewriteCond %{ENV:AllowGroup} ^$
RewriteCond %{REQUEST_URI} !zaglushka
RewriteRule .* https://%{SERVER_NAME}/zaglushka [R=301,L]

Не тестировал, просто первая мысль.

[Павел Кончич]

MKE, проблема в том что заглушка должна быть по тому же URL куда и request шел.
Замена дефолтного контента грубо говоря

[MKE]

Павел Кончич, RewriteRule без флагов попробуйте.