Как скачать форум phpBB через wget?

Question

[invisii]

Добрый день. Подскажите как скачать страницы форума hummerxclub.com/forum через wget. Допустим рубрики такого вида hummerxclub.com/forum/viewforum.php?f=22 он скачивает, а сами посты hummerxclub.com/forum/viewtopic.php?f=22&t=8129 записывает в лог как 404 не найдено. Может кто-то сталкивался?

Comments

[Hanneman]

Показали бы, как "скачиваете" - команду саму.

[invisii]

Hanneman, да хотя бы так wget /forum/viewtopic.php?f=22&t=8129

Answer 1

[Hanneman]

Защита стоит на User Agent. Обманите элементарно, выдав wget за браузер с помощью:

wget -U "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" "http://hummerxclub.com/forum/viewtopic.php?f=22&t=8129"

Comments

[invisii]

да, действительно помогло. как вы узнали про защиту?

[Hanneman]

invisii, опыт просто. Ну а если логично рассуждать, то это очевидно, так как есть веб-сервер, который обслуживает HTTP-запросы и который "отдает" существующий ресурс (страницу) браузеру, но возвращает 404 wget-у. HTTP-запросы, как правило, мало чем друг от друга отличаются, но в User Agent честные разработчики софта пишут настоящий идентификатор. Владельцы сайтов часто прибегают к методике анализа User Agent - например, защита от распространенных в былые времена "качалок" типа Download Master, GetRight, GoZilla и прочих, которые, впрочем, всегда "умели" подставлять "нужный" User Agent во время скачивания файлов.