Как сделать что бы поисковые роботы не проиндексировали локальный сайт открытый через ngrok?

Question

[Сергей Хлопов]

Здравствуйте, подскажите пожалуйста, для тестирования открываю локальную копию сайта через ngrok доступным для интернета. Не на долго, где то на час, полтора, потом перезапускаю ngrok, генерируется уже новая ссылка.
В head прописываю метатег:
<meta name="robots" content="noindex, nofollow">
А в robots.txt:

User-agent: *
Disallow: /

Подскажите пожалуйста достаточно ли этого что бы роботы не проиндексировали этот локальный сайт, или что-то ещё можно сделать ? Заранее благодарю за ответ

Comments

[Егор Живагин]

Я думаю, сам ngrok не даёт индексировать домены *.ngrok.io , разве нет?

[Сергей Хлопов]

Егор Живагин, Вроде всё таки могут проиндексироватся, я в поддержке уточнял, там написали что, любой общедоступный URL индексируется, в том числе ngrok

Answer 1

[Alice]

Это делать бесполезно в твоём случае.

Comments

[Сергей Хлопов]

Благодарю за ответ, а почему бесполезно ?

[Alice]

Сергей Хлопов, а зачем держать инстанс хоста который меняет свой адрес где то на час, полтора? :) проще же поднять тот же openserver и настроить .htaccess так, чтобы был доступ только с определённых адресов. Мнимая защита какая-то получается

[Сергей Хлопов]

Alice, А, я понял. Можно в .htaccess перечислить IP адреса которым будет доступ к локальному сайту, и мне тогда не нужен будет robots, и вот эти включения - выключения ngrok ?

[Alice]

Сергей Хлопов, на. От ботов твои методы выше спасут, а вот от краулеров не спасут

[Сергей Хлопов]

Alice, Понял, спасибо =)

[Сергей Хлопов]

Alice, Извините, можете пожалуйста ещё подсказать, прописываю в .htaccess:
и запускаю Open server

# Order Allow, Deny
deny from all
allow from #Мой IP адрес

Пишет "Доступ запрещён", потом попробовал вот так:

# Order Allow, Deny 
deny from all
allow from 127.0.0.1

Так заработало, потом запускаю ngrok и почему то не срабатывает htaccess, всё равно с разных IP ответ сервера 200, может быть это из за того что я ngrok использую

Answer 2

[Виталий Артемьев]

Я бы на твоём месте настроил базовую аутентифткацию через файл .htpasswd

Comments

[Сергей Хлопов]

Благодарю за ответ. С аутентификацией наверно проблема будет, я просто это всё делаю что бы API протестировать, и сторонний сервис отправляет запросы на сайт мне, а если там будет аутентификация то тогда они наверно не пройдут

[Виталий Артемьев]

Сергей Хлопов, базовая аутентификация работает по обычному урлу
http://user:[e-mail]/

[Сергей Хлопов]

Виталий Артемьев, Понял, спасибо, чуть позже посмотрю тогда, сейчас просто уже проблема не актуальна пока вроде бы =)

[Сергей Хлопов]

Не через файл .htpasswd сделал, а в самом ngrok есть аутентификация с помощью параметра -auth.
Спасибо