Как выкачать все gif с сайта?

Question

[Andrex1911]

Есть Сайт. Можно ли как-нибудь выкачать все картинки, которые подгружаются с сайта I.yapx (gif, jpeg) с данной категории со всех страниц, не загружая при этом каждую из них, в автоматическом режиме.. Может с помощью wget кто-то такое проворачивал уже, подскажите?

Answer 1

[AUser0]

Вообще-то это вопрос для тега Парсинг, и нет, вслепую скачать не выйдет.
Нужно скачивать каждую страницу, вытаскивать из неё URL-ы картинок, и уже после этого скачивать сами картинки.

Comments

[Andrex1911]

Может существует специальное ПО для этого ? не подскажете ?

[AUser0]

Andrex1911, да, существует, называется скрипт-парсер. Пишется на любом языке программирования (да хоть на BASH), поскольку выполняет простейший функционал: находит в тексте скачанной страницы все ссылки с .gif, и скачивает/экспортирует список, после чего переходит к следующей странице.

[AUser0]

Andrex1911, ну или можно тупо нагенерировать ссылок страниц, и использовать wget для их скачивания (вместе со всеми картинками): https://askubuntu.com/questions/373047/i-used-wget...

Answer 2

[mayton2019]

Попробуйте так.

wget -r -l1 -nd -A jpg,jpeg,png,gif https://example.com

Это работало для классических сайтов (.html / WEB 1.0) где контент был статичным.

К сожалению современный веб контент это вообще ни разу не сайт. Это динамический
документ который генерируется JS приложением прямо в браузере. И чтобы полноценно
создать такой контент вам нужен браузер или шука похожая на Selenium. Иммитатор браузера.
Это требует процесса разработки. Тоесть нужен программист.

Утилиты наподобие wget, curl, httrack работают только со статическим html и не могут гарантировать
что картинки будут скачиваться всегда.

Короче - это опция. Может сработать и может нет.