Парсинг сайта, вытащить изображения?

Question

PetrovUlsk @PetrovUlsk

PHP

Парсинг сайта, вытащить изображения?

Делаю парсинг страницы сайта.

Я получаю "цифру" количество(штук) изображений с сайта. А как мне получить сами изображения?
(само изображение, а также параметры его отображения (атрибуты тега: размер, рамка и т.п.)) и если есть возможность сохранить его в папку либо просто отображать превью хотя бы.

Вопрос задан более трёх лет назад
313 просмотров

16 комментариев

Подписаться 1 Простой 16 комментариев

Дмитрий @slo_nik Куратор тега PHP

Добрый вечер.
Удалите изображение с кодом и вставьте код при помощи специальных тегов.

Написано более трёх лет назад
Дмитрий @slo_nik Куратор тега PHP

PetrovUlsk, когда отвечаете на комментарий нажимайте "ответить".
С какого сайта Вы получаете изображения.

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

slo_nik, с любого сайта который хотим распарсить

Написано более трёх лет назад
Дмитрий @slo_nik Куратор тега PHP

PetrovUlsk, со стороннего сайта изображения можно сохранить при помощи copy().
Получайте путь к изображению и сохраняйте на своём сервере.

Написано более трёх лет назад
DanKud @DanKud

Что за класс Image? Самописный или это какое-то дополнение?

Написано более трёх лет назад
DanKud @DanKud

P.S. Для удобства кстати <?php echo можно записывать просто как <?=:
<?=$advice?>

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

slo_nik, вот я не понял как вывести хотя бы список этих изображений которые нашлись на сайте. Как путь получить?

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

DanKud, самописный

Написано более трёх лет назад
DanKud @DanKud

PetrovUlsk, так напишите хотя бы примерный код того как вы парсите. Как вы парсите атрибут alt например?

Написано более трёх лет назад

PetrovUlsk @PetrovUlsk Автор вопроса

DanKud,

// Update deprecated tags, images, headings
		$command -> update("{{content}}", array(
			'deprecated' => 			@json_encode($this -> document["deprecatedTags"]),
			'headings' => 				@json_encode($this -> content["headings"]),
			'isset_headings' => 	$this -> content["issetHeadings"],
			'total_img' => 				$this -> image["totalCount"],
			'total_alt' => 				$this -> image["totalAlt"],
		), 'wid=:wid', array(':wid' => $wid));

// Insert deprecated tags, headings, images
		$command -> insert("{{content}}", array(
			'wid' => 	$wid,
			'deprecated' => @json_encode($this -> document["deprecatedTags"]),
			'headings' => @json_encode($this -> content["headings"]),
			'isset_headings' => $this -> content["issetHeadings"],
			'total_img' => $this -> image["totalCount"],
			'total_alt' => $this -> image["totalAlt"],
		));

Написано более трёх лет назад

Дмитрий @slo_nik Куратор тега PHP

PetrovUlsk, через print_r() посмотрите, что Вы получаете с сайта.
Документацию к классу Image() посмотрите, какие параметры там настраиваются.

Написано более трёх лет назад
DanKud @DanKud

PetrovUlsk, то что вы написали к сожалению вообще ни о чем не говорит. Самого кода парсинга там нет. Вы точно сами писали этот класс или это какое-то готовое решение? В общем смысл в любом случае в том, что вам нужно получит значение атрибуты src у image там и будет ссылка на изображение. А дальше уже с этой ссылкой можете делать, что хотите. Либо вывести на страницу, либо сохранить локально.

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

DanKud, готовое решение скрипта с сайта preview.codecanyon.net/item/website-review/full_sc...

WebReview_v4.3, действующая версия на их сайте 5.5, но там так же нету отображение изображений. Только их количество

Написано более трёх лет назад
DanKud @DanKud
PetrovUlsk, вряд ли в этом скрипте есть встроенный функционал сбора ссылок на изображения. Нужно писать самому. Если учесть, что в $this->html у вас HTML-код страницы, то ссылки на изображения можно получить так:
preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $this->html, $m); $imageList = $m[1]; print_r($imageList);
Написано более трёх лет назад

PetrovUlsk @PetrovUlsk Автор вопроса

DanKud, Отлавливаю массив ссылок на изображения

<pre>
<?php
$url = "http://ritg.ru";

$curl = curl_init(); 
curl_setopt($curl, CURLOPT_URL, $url); 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

$site = curl_exec($curl);

preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); 
var_dump($res[0]);

//Ниже кусок кода чтобы сохранить данные изображения, но мне вместо <b>'img.png'</b>, нужно подставлять тот самый url который нашли
$img = $res[0];
file_put_contents('img.png', $img);
?>

и получаем

<html><head></head><body><pre>array(5) {
  [0]=&gt;
  string(49) "<img src="/local/templates/ritg2017/img/logo.png" "="" [1]="">
  string(48) "<img src="/local/templates/ritg2017/img/nav.png" "="" [2]="">
  string(54) "<img src="/local/templates/ritg2017/img/nav-close.png" "="" [3]="">
  string(79) "<img alt="globus" src="/upload/iblock/b3a/b3a5167acc32fb4d5fcd4d55c59213e1.png" "="" [4]="">
  string(46) "</pre></body></html>

Но в ссылке на изображение отсутствует url сайта, как добавить его чтобы он присваивался. Т.е. нужно сформировать Абсолютный путь до изображения

Если перейти на сайт ritg.ru то наблюдаем Относительную ссылку на изображение которое получили

<div class="head-logo">
                <a href="/">
                <img src="/local/templates/ritg2017/img/logo.png" alt="logo">
                </a>
            </div>

Написано более трёх лет назад

DanKud @DanKud

PetrovUlsk, во-первых все-таки не используйте $res[0] - это не форматированный список изображений и использовать его не совсем корректно. Используйте только массив $res[1] в котором пути до изображений:

.....
preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); 
var_dump($res[1]);

$imageList = $res[1];
foreach ($imageList as $k => $v) {
    if (!preg_match('/^http/', $v)) $imageList[$k] = $site . $v; /* если в начале строки нет http то добавляет адрес сайта */
    file_put_contents('img' . $k . '.png', file_get_contents($imageList[$k])); /* сохраняем изображения на диск */
    echo '<img src="' . $imageList[$k] . '" alt=""><br>'; /* выводим изображения на страницу */
}

Написано более трёх лет назад

Помогут разобраться в теме Все курсы

Skillfactory

Профессия Fullstack веб-разработчик на JavaScript и PHP

20 месяцев

Далее
Хекслет

PHP-разработчик

10 месяцев

Далее
Нетология

Веб-разработчик с нуля: профессия с выбором специализации

14 месяцев

Далее

Пригласить эксперта

Ответы на вопрос 1

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

PHP

+2 ещё

Простой
Как сконвертировать файл в формате excel в pdf?
- 2 подписчика
- 14 нояб.
- 279 просмотров
4

ответа
PHP

+1 ещё

Простой
Запрос на создание таблицы в clickhouse Yandex выдает ошибку 400 Bad Request, что не так с моим запросом?
- 1 подписчик
- 13 нояб.
- 210 просмотров
4

ответа
PHP

+2 ещё

Простой
Создание элемента с необычной формой и прозрачным фоном и рамкой?
- 1 подписчик
- 03 нояб.
- 185 просмотров
0

ответов
PHP

+3 ещё

Средний
Apache 2.4 и php 8.4 под windows. Почему не загружаются модули curl, openssl?
- 2 подписчика
- 01 нояб.
- 305 просмотров
3

ответа
PHP

Простой
Как объединить в один код 2 строчки $array[$key]?
- 2 подписчика
- 31 окт.
- 281 просмотр
2

ответа
PHP

+1 ещё

Простой
Как оптимально подтягивать og:img для списка статей с разных сайтов?
- 1 подписчик
- 27 окт.
- 149 просмотров
1

ответ
PHP

+2 ещё

Простой
Как реализовать зеркало сайт Тильда?
- 1 подписчик
- 22 окт.
- 321 просмотр
0

ответов
PHP

+1 ещё

Простой
Почему перестала работать ЮКасса?
- 1 подписчик
- 19 окт.
- 374 просмотра
1

ответ
PHP

Простой
Как вычислить результат математических операций в строке?
- 1 подписчик
- 17 окт.
- 302 просмотра
3

ответа
PHP

Простой
Можно ли в PHP вкладывать однострочные комментарии // в многострочные /* */?
- 1 подписчик
- 16 окт.
- 291 просмотр
4

ответа
Показать ещё Загружается…

PHP-разработчик

FoodSoul • Калининград

от 180 000 до 250 000 ₽

PHP- разработчик (Symfony)

IT-Spirit • Москва

от 230 000 до 320 000 ₽

Backend PHP developer

Office-Expert.kz

от 200 000 до 290 000 ₽

Добрый вечер.
Удалите изображение с кодом и вставьте код при помощи специальных тегов.
PetrovUlsk, когда отвечаете на комментарий нажимайте "ответить".
С какого сайта Вы получаете изображения.
slo_nik, с любого сайта который хотим распарсить
PetrovUlsk, со стороннего сайта изображения можно сохранить при помощи copy().
Получайте путь к изображению и сохраняйте на своём сервере.
Что за класс Image? Самописный или это какое-то дополнение?
P.S. Для удобства кстати <?php echo можно записывать просто как <?=:
<?=$advice?>
slo_nik, вот я не понял как вывести хотя бы список этих изображений которые нашлись на сайте. Как путь получить?
PetrovUlsk, так напишите хотя бы примерный код того как вы парсите. Как вы парсите атрибут alt например?
DanKud,
// Update deprecated tags, images, headings $command -> update("{{content}}", array( 'deprecated' => @json_encode($this -> document["deprecatedTags"]), 'headings' => @json_encode($this -> content["headings"]), 'isset_headings' => $this -> content["issetHeadings"], 'total_img' => $this -> image["totalCount"], 'total_alt' => $this -> image["totalAlt"], ), 'wid=:wid', array(':wid' => $wid));

// Insert deprecated tags, headings, images $command -> insert("{{content}}", array( 'wid' => $wid, 'deprecated' => @json_encode($this -> document["deprecatedTags"]), 'headings' => @json_encode($this -> content["headings"]), 'isset_headings' => $this -> content["issetHeadings"], 'total_img' => $this -> image["totalCount"], 'total_alt' => $this -> image["totalAlt"], ));
PetrovUlsk, через print_r() посмотрите, что Вы получаете с сайта.
Документацию к классу Image() посмотрите, какие параметры там настраиваются.
PetrovUlsk, то что вы написали к сожалению вообще ни о чем не говорит. Самого кода парсинга там нет. Вы точно сами писали этот класс или это какое-то готовое решение? В общем смысл в любом случае в том, что вам нужно получит значение атрибуты src у image там и будет ссылка на изображение. А дальше уже с этой ссылкой можете делать, что хотите. Либо вывести на страницу, либо сохранить локально.
DanKud, готовое решение скрипта с сайта preview.codecanyon.net/item/website-review/full_sc...

WebReview_v4.3, действующая версия на их сайте 5.5, но там так же нету отображение изображений. Только их количество
PetrovUlsk, вряд ли в этом скрипте есть встроенный функционал сбора ссылок на изображения. Нужно писать самому. Если учесть, что в $this->html у вас HTML-код страницы, то ссылки на изображения можно получить так:
preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $this->html, $m); $imageList = $m[1]; print_r($imageList);
DanKud, Отлавливаю массив ссылок на изображения
<pre> <?php $url = "http://ritg.ru"; $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); $site = curl_exec($curl); preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); var_dump($res[0]); //Ниже кусок кода чтобы сохранить данные изображения, но мне вместо <b>'img.png'</b>, нужно подставлять тот самый url который нашли $img = $res[0]; file_put_contents('img.png', $img); ?>

и получаем
<html><head></head><body><pre>array(5) { [0]=> string(49) "<img src="/local/templates/ritg2017/img/logo.png" "="" [1]=""> string(48) "<img src="/local/templates/ritg2017/img/nav.png" "="" [2]=""> string(54) "<img src="/local/templates/ritg2017/img/nav-close.png" "="" [3]=""> string(79) "<img alt="globus" src="/upload/iblock/b3a/b3a5167acc32fb4d5fcd4d55c59213e1.png" "="" [4]=""> string(46) "</pre></body></html>

Но в ссылке на изображение отсутствует url сайта, как добавить его чтобы он присваивался. Т.е. нужно сформировать Абсолютный путь до изображения

Если перейти на сайт ritg.ru то наблюдаем Относительную ссылку на изображение которое получили
<div class="head-logo"> <a href="/"> <img src="/local/templates/ritg2017/img/logo.png" alt="logo"> </a> </div>
PetrovUlsk, во-первых все-таки не используйте $res[0] - это не форматированный список изображений и использовать его не совсем корректно. Используйте только массив $res[1] в котором пути до изображений:
..... preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); var_dump($res[1]); $imageList = $res[1]; foreach ($imageList as $k => $v) { if (!preg_match('/^http/', $v)) $imageList[$k] = $site . $v; /* если в начале строки нет http то добавляет адрес сайта */ file_put_contents('img' . $k . '.png', file_get_contents($imageList[$k])); /* сохраняем изображения на диск */ echo '<img src="' . $imageList[$k] . '" alt=""><br>'; /* выводим изображения на страницу */ }

Answer 1 · 2019-03-19 00:47:22

Я получаю "цифру" количество(штук) изображений с сайта. А как мне получить сами изображения?

Зависит от того как Вы их получаете
У Вас есть объект Image$image = new Image($this -> html); Вы в него видимо передете html и он занимается парсингом (вероятно). Как он реализован знаете только Вы, потому что это сторонний код, который к yii2 не имеет никакого отношения. Так что тут без кода только гадалку звать.
Дайте код именно класса Image, если нужен ответ. Возможно там есть нужные методы, а возможно надо их туда добавить. У Вас (вероятно) в $this->html есть html, а значит можно регуляркой достать. Но я думаю, что это все уже есть в Image, надо просто в него заглянуть. Странно если кто-то написал парсер, количество вытянул, а пути нет. Наверняка есть метод, просто загляните в класс.
Кстати есть же готовые универсальные парсеры на php типа:
simplehtmldom.sourceforge.net
phpQuery
https://github.com/Imangazaliev/DiDOM
и т.д.
Возможно Ваш для конкретной задачи будет быстрее работать, но к этим документация есть.

Парсинг сайта, вытащить изображения?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт