Как ограничить доступ к статическому сайту?

Question

[Егор Бадулин]

Всем привет. Есть набор статических страниц на хостинге (smartape - apache/nginx), генерируемые с помощью jekyll. Как сделать так, чтобы доступ к ним имел только я, но не другие пользователи или поисковики?

Answer 1

[Zettabyte]

Если вы играете со всякими Джекиллами, то скорее всего, и Apache у вас свежий, версии 2.4.

В нём директивы order, allow и deny стали deprecated.

Сейчас ограничения по IP-адресу пишутся примерно так:

# Полные адреса
Require ip 10.1.2.3
Require ip 192.168.1.104 192.168.1.205
# Части адресов
Require ip 10.1
Require ip 10 172.20 192.168.2
# CIDR
Require ip 10.1.0.0/16

Либо так:

<RequireAny>
  Require ip 111.x.x.x
  Require ip 122.x.x
  Require ip 133.x
</RequireAny>

robots.txt для вашей задачи не подходит.
Мало того, что сейчас много краулеров его банально игнорируют (даже гугл может сам решить, что проиндексировать стоит), так ещё есть и такие, кто в нём ищет какие директории владелец сайта хочет скрыть.

Answer 2

[Student18ru]

Получается сайт динамический раз страницы генерируются. Используй проверку по IP на стороне сервера. Поисковики твой сайт индексировать не будут, если пропишешь это в robots.txt

Comments

[Василий Банников]

jekyll - это генератор статических сайтов. Никакого бэкенда с таким нет.

Answer 3

[Developer]

robots.txt
плюс
Авторизация и аутентификация

Answer 4

[Александр Торопов]

Закрыть можно с помощью .htaccess
Если просто закрыть от индексации поисковиками то через robots.txt