Каким образом сделана защита от скачки на сайте?

Question

[Максим]

Интересует сайт php.su , использовав wget ответ от php.su отсутствует wget -r -k -l 7 -p -E http://php.su
Вот сам вопрос , каким образом разработчики сделал защиту ?
Я через wget множество сайтов скачал для offline просмотра , даже php.net и этот сайт первый попался который не скачивается ..

Answer 1

[PrAw]

Проверяют по User-Agent, мож и куки.
Как скачать сайт wget`ом с куками и userAgent?

Comments

[Максим]

я так делал , результата НОЛЬ

[PrAw]

wget --user-agent "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" php.su
результат лежит. Что я делаю не так?

[Максим]

PrAw: я может не по русский говорю, но wget выкачивает ВЕСЬ сайт , там 3.5 ггб , вот то что у меня при выполнении вашего wget запроса : https://cloud.mail.ru/public/Cq8C/g5qAjmdQY

[Максим]

PrAw: и php.su выкачиваться будет пол дня , я так php.net скачивал ... там не один index

Answer 2

[Илья Караваев]

Если такая защита там и стоит, то наверняка просто отсекают по юзерагенту ботов. Благо варинтов это определить можно найти множество.

Comments

[Максим]

пример можно ? попробуйте скачайте его

[Илья Караваев]

. Shadow: stackoverflow.com/questions/13252603/how-works-htt...

[Максим]

Илья Караваев: Я согласен с этим , php.su прикрутили юсерагент , во вгет как мне обойти это ?

[Илья Караваев]

. Shadow: понятия не имею. Если вы давно пользуетесь wget, почитайте еще раз справку. Но вряд ли он это умеет. В силу того, что у Вас стоит PHP, копайте в сторону curl.

[Максим]

Илья Караваев: через вгет я с ютуба целые каналы выкачиваю , кучу сайтов скачал - а этот не могу ... все ключи перебрал .. ХОРОШАЯ ЗАЩИТА ... респект им