Как скраулерить webarchive?

Question

[PO6OT]

Не могу создать копию web.archive.org/web/20150815080935/http://wasm.ru/wault и всех вложенных страниц.
Teleport Pro лицензионный копирует только index.htm и пару .js и .css.
Вот вывод HTTrack: WASM.zip
Помогите скраулерить архив WASM.

Answer 1

[Dimonchik]

1) используй wget с опцией -np (no parent)
будет что-то вроде

H:\WGET\wget64.exe -m -HErkp -np -Dweb.archive.org 
http://web.archive.org/web/20150815080935/http://wasm.ru/wault/ -k -x -P "S:\WASM" -U "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; QQ)" -o S:\WASM\wasm.log.txt -nv -e robots=off

2)он перезапишет на относительные локальные ссылки,но из-за конструкции /http://wasmможет не работать переход из статьи в индексную - посмотришь лог, и перезапишешь потом во всех заменой этот путь

3) если нужно только html, добавь типы нужных файлоы через -A опцию,
-A htm,html

4) Если что-то не скачает - отменяшь опцию -np и возишься с опцией -I (include directories)

P.S. Телепорт выкинь

Comments

[PO6OT]

Я кажется знаю почему телепорт не работает. Потому, что robots.txt

[PO6OT]

Не хочется использовать wget
Я выложил логи и результаты HTTrack. Можете посмотреть

[Dimonchik]

дело в robots в том числе, это видно по httrack сообщениям
(отмечай prefernces кнопка - spider вкладка - no robots rules)
но у него все равно логика непойми какая

wget, кстати, в S:\WASM\web\20150815080935\http%3A\wasm.ru\wault\article\show
уже все скачал, 531 файл

[PO6OT]

dimonchik2013: я в HTTrack установил игнорирование robots.txt с помощью --robots=0 (-sN=0 почему-то сразу вылетает), 5-10 минут работает, но всё-равно он ведёт себя странно и не краулерит что надо: WASM(1).zip
Вот что я набирал:

WASM

http://web.archive.org/web/20150815080935/http://wasm.ru/wault/
4

--robots=0
Y

[Dimonchik]

ну, wget скачал, я же проверял строчку
https://eternallybored.org/misc/wget/ бери wget и запускай

[Dimonchik]

Вадим Егоров: ну я же говорю - он пытается сопоставить урлы из JS, в итоге редиректит по-левому, Трак для сайтов, где в УРЛ есть ? и параметры работает плохо, ну или надо возиться с настройкой

лучше Вгет ничего нет

[PO6OT]

dimonchik2013:
> дело в robots в том числе, это видно по httrack сообщениям
> (отмечай prefernces кнопка - spider вкладка - no robots rules)

Где отмечать? В Teleport Pro? У меня рус. версия и я не вижу вкладку Параметры (если я правильно перевёл).

[PO6OT]

dimonchik2013: Скачал wget. Куда его разархивировать?

[Dimonchik]

не-не, в httrack, но у него все равно странные редиректы

[Dimonchik]

Вадим Егоров: это просто ескзегшник, куда угодно, лишь бы без пробелов в пути,
C:/wgetfolder/wget64.exe например

[PO6OT]

dimonchik2013: Решил проблему - нашёл архив со всеми файлами

Answer 2

[Andriweb]

Напишите на скайп majordonua, я выкачиваю с вебархива, есть большие объёмы. Телепорт не даст скачать т.к. он рассчитан на другую задачу

Comments

[Александр Капштык]

скайпа нет!