Как скачать файлы с директории сайта, если не знаешь имени файлов?

Question

[pcica]

Уже все прочитано на тему WGET И HTTrack - не работает.

итак имеем сайт: https://www.inkema.com/images/cms/
если на него заходить " В ЛОБ" - то имеем ошибку 404 - вроде там пусто.

но в нем лежит хранилище pdf-ок, нужные мне ркуоводства.
но попасть на файл можно ТОЛЬКО зная ИМЯ этой PDF-ки.
вот например: ttps://www.inkema.com/images/cms/pr11_en_lr.pdf

ВОПРОС: как скачать ВСЮ директорию сайта по маске *.* ???
или такое вообще в принципе невозможно ?

или ВОПРОС №2: можно ли получить типа DIR этой папки на сайте и уже зная имена файлов качать по отдельности ?

СПАСИБО!!!

p.s: пробовал:
wget -r -l 2 --accept=pdf --no-check-certificate https://inkema.com/images/cms/
не работет - качает ошибку 404
httrack --ext-depth=1 https://inkema.com/images/cms/*.*
httrack --ext-depth=1 https://inkema.com/images/cms/

тоже ничего не качает

Comments

[pcica]

Ооо. Вот прям написал то , что я забыл. Да. Это ещё один мой вопрос: поиск Гугл " как-то" умудрился "выцарапать" имена этих файлов. Значит Гугл умеет ?
Вопрос тока - то что даёт Гугл это уже все? Или ещё можно перебирать комбинации имён файлов?

Спасибо!

[SagePtr]

Значит, где-то были ссылки на эти файлы, которые гугл проиндексировал

[pcica]

SagePtr, т е. Это вовсе не значит, что Гугл смог "пробраться" таки в это директорию ? Просто где-то ранее на просторах были ссылки и гугл их подобрал?

Или всё-таки гугл знает что лежит в той загадочной папке: inkema.com/images/CMS/ ?

[SunTechnik]

pcica, просто где-то появлялись ссылки на а эти документы и Google их собрал.
Это не даёт гарантии, что эти ссылки сейчас живые и что не появилось куча других.

Answer 1

[denn]

Данная директория не скрыта от индексации гуглом. В гугле вбейте следующий запрос:

site:www.inkema.com "/images/cms/" filetype:pdf

отобразит все файлы из директории /images/cms/ с расширением PDF

Утилита googler для Linux поможет выдернуть ссылки с названием файлов в файлик files.json. Синтаксис:

googler "site:www.inkema.com /images/cms/ filetype:pdf" --json > files.json

Comments

[CityCat4]

Проверил - работает. Гугл выдает фигову кучу результатов :) все с меткой PDF. Подписываюсь, чтобы не потерять.

[Saboteur]

но это только на те файлы, на которые уже заходили каким-то образом?

[denn]

Saboteur, оператор поиска site: показывает какой адрес/директория проиндексированы гуглом. Подробнее можно почитать тут.

В данном случае полезно почитать про технологию Google Dorks

[Saboteur]

Ну гугл не может проиндексировать файлы, на которые нет ссылок/карты сайта

[pcica]

Спасибо огромное. решение СУПЕР!

вот уже действительно как в том мультике - PDF -ок вывалило столько, что устала рука кликать :)

вот если б кто еще ДОБРЫЙ с линуксом слелал полный листинг файлов из 2ой части ответа - цены бы ему не было.

Ребят! есть у кого Линух ?

[denn]

pcica, ссылки на файлы списком: тык

Answer 2

[Aetae]

В общем случае - никак. Если сайт сам ни в каком виде не отдаёт список файлов, то всё, ты никак не можешь знать какие там файлы лежат.

Если есть какой-то общий паттерн в наименованиях файлов - можно их просто перебирать: какие скачаются - такие скачаются.
Если на сайте таки где-то есть каталог - можно распарсить оный.
Если ссылки на эти файлы в принципе где-то в интернете встречаются, то goodle их видел и можно воспользоваться api google-поиска с фильтром inurl:www.inkema.com/images/cms/ и, опять же, получить список.

Comments

[pcica]

К сожалению с паттерном туго, ибо сайт испанский, логика имён пдфок "испанская" т.е. от балды испаньола давал названия своим мануалам
Увы...

[Михаил Ливач]

pcica, а Вы не пробовали обратиться к владельцу сайта и попросить?

[pcica]

Михаил Ливач, нет. Как говорил "классик" - это не наш метод!

Конечно они не дадут доки. Инкема жадная фирма, она на этом зарабатывает. А тем более... Каким-то
"русским"

Не. Не пойдет.