Как не дать доступ вгэт?

Question

[PavelScron]

Что прописать?
Пробовал разные варианты, все равно скачивается.

Comments

[xmoonlight]

буква t - одна: .htaccess

Answer 1

[xmoonlight]

1. тут читайте
2. можно и вот это добавить
3. Это 3-й вариант: самый простой, но ОЧЕНЬ действенный:

RewriteEngine on

######Block BAD traffic#######
RewriteCond %{HTTP:Accept-Language} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} !.*\s((\(.*\s.*\))|(\(compatible;\s.*http.*\))) [OR,NC]
RewriteCond %{HTTPS} on
RewriteCond %{SSL:SSL_TLS_SNI} =""
RewriteRule .* - [R=404,NC,L]

#Terms of Service
RewriteCond %{HTTP_COOKIE} !tos=accepted
RewriteCond %{REQUEST_URI} !^.*(terms-of-service.html)
RewriteRule .* /terms-of-service.html?%{REQUEST_URI}\?%{QUERY_STRING} [R,L]

PS: mod-rewrite-cheatsheet.com

Comments

[Saboteur]

Александр А:
Например здесь?
RewriteCond %{HTTP_USER_AGENT} (libwww-perl|curl|wget|python|nikto|scan) [NC,OR]

[CityCat4]

Александр А: Хм, ну назовите тогда пожалуйста точные неизменные и гарантированные признаки, отличающие wget от браузера, пригодные для анализа автомата.

[xmoonlight]

CityCat4: неисполнение js-скриптов на скачиваемых страницах и как следствие невозможность корректно делать запросы на основе динамических данных, формируемых js-скриптами.

Answer 2

[romy4]

вы не можете напрямую запретить скачивать сайт. равносильно тому, чтобы вообще запретить открывать сайт из браузера. вы не отличите никак wget и браузер. вы можете только усложнить массовую загрузку.

Comments

[PavelScron]

В англоязычном гугле люди обсуждали решения, и много вариантов было рабочих. У них вроде бы работало. Но у меня почему-то эффекта нет.

[SagePtr]

PavelScron: оно-то может и будет работать, но до тех пор, пока скачивающий не добавит HTTP-заголовки, которые выглядят также, как и заголовки какого-нибудь из популярных браузеров

[romy4]

SagePtr: я о том же. да, wget подставляет user-agent свой, но ровно до того момента, пока сам не пропишешь и тогда уже распознать его невозможно.

[PavelScron]

romy4: это я знаю, но 90% людей не будут заморачиваться и разбираться как агент прописать. Поэтому хочу только основной юзер агент заблокировать.

[polifill]

PavelScron:

1. Те, кто умеют пользоваться wget, будьте уверены, легко подставят и заголовки. wget - это изначально программа для людей с iq выше среднего.

2. Еще есть curl, reget, flashget, flashgot и т.п. и т.д. Вы их всех тоже пропишите?

3. Некоторые из них прикидываются браузерами. Так что через юзер-агент вы многого не добьетесь.

Answer 3

[Rou1997]

Никак просто так не запретить. Если мыслить на самом глубоком уровне, то кабель "витая пара" понятия не имеет, wget там или браузер, поэтому его в любом случае возможно обмануть. Если бы wget был недостаточно гибок, то сделали бы свою сборку из его исходных кодов или просто использовали более профессиональный подход к разработке ботов.
Все, что можно сделать, это усложнить запросы.