Как спарсить все изображения с сайта?

Question

[Максим Осадчий]

Необходимо пройтись по всем страницам сайта (карта xml отсутствует), найти src у изображений с определенным классом и сохранить их в одну папку. Опционально - название картинки тянуть с тега, к примеру h1.
Сильно камнями не забрасывайте, с данной задачей столкнулся впервые, опыта нет.
Вопрос не из разряда "сделайте за меня", буду признателен за любые ссылки/рекомендации.

Comments

[xomik]

Напиши в гугле такой запрос "Парсер картинок на php".
Но это только в том случае если ты знаешь язык PHP

[Максим Осадчий]

xomik: использовал Simple HTML DOM Parser, картинки с url стянул, но на рекурсивном спуске запнулся

[xomik]

Максим Осадчий: Загрузки на Яндекс.Диск файл который ты писал, и выложи сюда. Если там не много осталось, то допишу код за тебя

[Максим Осадчий]

xomik: Код к сожалению не сохранился, в виду его ненадобности, но было что-то примитивное, вроде этого:

require_once 'simple_html_dom.php';

$html = file_get_html('example.com');

foreach($html->find('img') as $element)
copy($element->src, '../save_dir/'.$element->title.'');

[Ди Ма]

Я бы регулярным выражением сначала выбрал все картинки.
За второй заход выбрал только с нужным классом
За третий получил содержимое src атрибута.

Можно и за один заход, но регулярка получается длинная и не надежная.

[Ди Ма]

Если это разовое мероприятие, то проще сделать это руками в редакторе, при помощи те-же регулярок. Получить массив адресов, а потом уже в цикле скачать файлы.

Answer 1

[RidgeA]

Алгоритм прост
1. Взять первую страницу сайта.
2. Распарсить ее и найти нужную информацию и ссылки на другие страницы этого же сайта, сохранить это все.
3. Отметить текущую страницу как проанализированную.
4. Перейти к п 1. с любой новой ссылкой на страницу сайта (п. 2)

Вот можно от сюда начать искать инфо https://habrahabr.ru/post/301426/