Как скачать все файлы лежащие на сайте в статике?

Question

[mIka01]

Здравствуйте, у меня есть url например https://some/url/title.mp4.
Я имею доступ ко всем статическим файлом по url: https://some/url/
Мне необходимо скачать все видео (mp4) которые доступны по условной ссылки, однако названий этих видео я не знаю. Как мне узнать названия всех статических файлов хранящихся по определённому адресу, а лучше их скачать.

P.s. когда я обращаюсь по адресу https://some/url/ выдаёт ошибку 403.
P.s. https://some/url/ это условный адрес сайта которому я обращаюсь.

Заранее благодарю за ответ.

Comments

[Shandy]

Что нибудь типа https://site-analyzer.ru/ не работает?

Answer 1

[Григорий Боев]

Можно попробовать так:
wget -r -k -l 7 -p -E -nc https://some/

Comments

[mIka01]

Не подходит, я сначала подумал про офлайн браузеры которые позволяли скачивать сайты по верхнему url с заданий глубиной и что главное типом файлов, однако сайт (https://some/url/) имеет авторизацию который недавно корректно работать скачивальщикам сайтов.

P.s. wget тоже пробовал не помогла. Он нехронит куки где что то важное сайт хранит из за чего не работает.

Answer 2

[Дмитрий]

Что бы совсем все - можете спросить у владельца сайта. Те что есть в виде ссылок обойти каким нибудь краулером. Ну или посмотреть а что там товарищ гугл или яндекс проиндексировал

Comments

[mIka01]

Не дал результата.
Я использовал site:url filetype:mp4

[Григорий Боев]

mIka01, не факт что mp4 лежат на том же домене, проверьте

[mIka01]

Убрал из поиска вообще указания типа файла. Мне и в таком варианте недал результата.
Я использовал site:url

[Дмитрий]

mIka01, ну значит запрещены к индексированию. или гугл вообще о них не знает. бывает.

Answer 3

[Александр]

2. В этом и есть проблема, сайт большой и парсить нереально. Так же есть защита на подобии необычной капчи. А при этом он всегда ссылается на этот url где хранит все медиа файлы в открытом доступе.

Не совсем понятно...

Парсить не реально? НЕ верю ))). Кроме случая если там есть пагинатор (Pagination), можно но сложнее.
1) Заходим на сайт и сохраняем страницу в html.
2) Закидаваем в Notepad++ делаем волшебные преобразования
3) Закидываем в Excel и получаем волшебную таблицу ссылок
4) Пишем макрос на закачку файлов
5) Заходим на сайт с паролем и не закрывая его запускаем макрос. Сайт не будет запрашивать пароль (надеюсь), так как сессия будет открыта.

Не будет работать если нет прямых ссылок. JS обрабатывает событие ведет к открытию другого окна.

Answer 4

[mayton2019]

Дело в том что http-протокол не поддерживает команду DIR. Тоесть мы не можем спросить перечень файлов.
Можем только сказать GET /url когда точно-точно знаем путь.

Хотя некоторые старые сервера типа Apache поддеживают auto-index mod. Который просто генерит такие html-листинги. Но это опция. Ее могут включать а могут нет. Некоторые поддерживают редирект на ошибку. Но это тоже опция.

Вот пример такого листинга https://repo1.maven.org/maven2/