Парсинг сайта, вытащить изображения?

Question

PetrovUlsk @PetrovUlsk

PHP

Парсинг сайта, вытащить изображения?

Делаю парсинг страницы сайта.

Я получаю "цифру" количество(штук) изображений с сайта. А как мне получить сами изображения?
(само изображение, а также параметры его отображения (атрибуты тега: размер, рамка и т.п.)) и если есть возможность сохранить его в папку либо просто отображать превью хотя бы.

Вопрос задан более трёх лет назад
298 просмотров

16 комментариев

Подписаться 1 Простой 16 комментариев

Дмитрий @slo_nik Куратор тега PHP

Добрый вечер.
Удалите изображение с кодом и вставьте код при помощи специальных тегов.

Написано более трёх лет назад
Дмитрий @slo_nik Куратор тега PHP

PetrovUlsk, когда отвечаете на комментарий нажимайте "ответить".
С какого сайта Вы получаете изображения.

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

slo_nik, с любого сайта который хотим распарсить

Написано более трёх лет назад
Дмитрий @slo_nik Куратор тега PHP

PetrovUlsk, со стороннего сайта изображения можно сохранить при помощи copy().
Получайте путь к изображению и сохраняйте на своём сервере.

Написано более трёх лет назад
DanKud @DanKud

Что за класс Image? Самописный или это какое-то дополнение?

Написано более трёх лет назад
DanKud @DanKud

P.S. Для удобства кстати <?php echo можно записывать просто как <?=:
<?=$advice?>

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

slo_nik, вот я не понял как вывести хотя бы список этих изображений которые нашлись на сайте. Как путь получить?

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

DanKud, самописный

Написано более трёх лет назад
DanKud @DanKud

PetrovUlsk, так напишите хотя бы примерный код того как вы парсите. Как вы парсите атрибут alt например?

Написано более трёх лет назад

PetrovUlsk @PetrovUlsk Автор вопроса

DanKud,

// Update deprecated tags, images, headings
		$command -> update("{{content}}", array(
			'deprecated' => 			@json_encode($this -> document["deprecatedTags"]),
			'headings' => 				@json_encode($this -> content["headings"]),
			'isset_headings' => 	$this -> content["issetHeadings"],
			'total_img' => 				$this -> image["totalCount"],
			'total_alt' => 				$this -> image["totalAlt"],
		), 'wid=:wid', array(':wid' => $wid));

// Insert deprecated tags, headings, images
		$command -> insert("{{content}}", array(
			'wid' => 	$wid,
			'deprecated' => @json_encode($this -> document["deprecatedTags"]),
			'headings' => @json_encode($this -> content["headings"]),
			'isset_headings' => $this -> content["issetHeadings"],
			'total_img' => $this -> image["totalCount"],
			'total_alt' => $this -> image["totalAlt"],
		));

Написано более трёх лет назад

Дмитрий @slo_nik Куратор тега PHP

PetrovUlsk, через print_r() посмотрите, что Вы получаете с сайта.
Документацию к классу Image() посмотрите, какие параметры там настраиваются.

Написано более трёх лет назад
DanKud @DanKud

PetrovUlsk, то что вы написали к сожалению вообще ни о чем не говорит. Самого кода парсинга там нет. Вы точно сами писали этот класс или это какое-то готовое решение? В общем смысл в любом случае в том, что вам нужно получит значение атрибуты src у image там и будет ссылка на изображение. А дальше уже с этой ссылкой можете делать, что хотите. Либо вывести на страницу, либо сохранить локально.

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

DanKud, готовое решение скрипта с сайта preview.codecanyon.net/item/website-review/full_sc...

WebReview_v4.3, действующая версия на их сайте 5.5, но там так же нету отображение изображений. Только их количество

Написано более трёх лет назад
DanKud @DanKud
PetrovUlsk, вряд ли в этом скрипте есть встроенный функционал сбора ссылок на изображения. Нужно писать самому. Если учесть, что в $this->html у вас HTML-код страницы, то ссылки на изображения можно получить так:
preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $this->html, $m); $imageList = $m[1]; print_r($imageList);
Написано более трёх лет назад

PetrovUlsk @PetrovUlsk Автор вопроса

DanKud, Отлавливаю массив ссылок на изображения

<pre>
<?php
$url = "http://ritg.ru";

$curl = curl_init(); 
curl_setopt($curl, CURLOPT_URL, $url); 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

$site = curl_exec($curl);

preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); 
var_dump($res[0]);

//Ниже кусок кода чтобы сохранить данные изображения, но мне вместо <b>'img.png'</b>, нужно подставлять тот самый url который нашли
$img = $res[0];
file_put_contents('img.png', $img);
?>

и получаем

<html><head></head><body><pre>array(5) {
  [0]=&gt;
  string(49) "<img src="/local/templates/ritg2017/img/logo.png" "="" [1]="">
  string(48) "<img src="/local/templates/ritg2017/img/nav.png" "="" [2]="">
  string(54) "<img src="/local/templates/ritg2017/img/nav-close.png" "="" [3]="">
  string(79) "<img alt="globus" src="/upload/iblock/b3a/b3a5167acc32fb4d5fcd4d55c59213e1.png" "="" [4]="">
  string(46) "</pre></body></html>

Но в ссылке на изображение отсутствует url сайта, как добавить его чтобы он присваивался. Т.е. нужно сформировать Абсолютный путь до изображения

Если перейти на сайт ritg.ru то наблюдаем Относительную ссылку на изображение которое получили

<div class="head-logo">
                <a href="/">
                <img src="/local/templates/ritg2017/img/logo.png" alt="logo">
                </a>
            </div>

Написано более трёх лет назад

DanKud @DanKud

PetrovUlsk, во-первых все-таки не используйте $res[0] - это не форматированный список изображений и использовать его не совсем корректно. Используйте только массив $res[1] в котором пути до изображений:

.....
preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); 
var_dump($res[1]);

$imageList = $res[1];
foreach ($imageList as $k => $v) {
    if (!preg_match('/^http/', $v)) $imageList[$k] = $site . $v; /* если в начале строки нет http то добавляет адрес сайта */
    file_put_contents('img' . $k . '.png', file_get_contents($imageList[$k])); /* сохраняем изображения на диск */
    echo '<img src="' . $imageList[$k] . '" alt=""><br>'; /* выводим изображения на страницу */
}

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 1

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

PHP

+1 ещё

Простой
Как обновить PHP на сайте?
- 1 подписчик
- 3 часа назад
- 54 просмотра
1

ответ
PHP

+1 ещё

Средний
Yii2-dynamic-form при добавлении строки слетает кодировка. Как решить?
- 1 подписчик
- 5 часов назад
- 13 просмотров
0

ответов
PHP

+1 ещё

Простой
Как исправить "Undefined array key «login»,"password" в $_POST?
- 1 подписчик
- 9 часов назад
- 71 просмотр
1

ответ
PHP

+3 ещё

Простой
Firefox больше не отправляет в HTTP_ACCEPT image/webp?
- 3 подписчика
- вчера
- 489 просмотров
2

ответа
PHP

+1 ещё

Простой
Как корректно распределить сумму внутри элементов массива?
- 1 подписчик
- вчера
- 82 просмотра
1

ответ
PHP

+2 ещё

Сложный
Как обойти блокировку серверов CloudFlare на уровне провайдера?
- 1 подписчик
- 20 нояб.
- 4092 просмотра
6

ответов
PHP

Простой
Как трансформировать массив?
- 1 подписчик
- 20 нояб.
- 134 просмотра
1

ответ
PHP

+1 ещё

Простой
Как решить проблему с выводом PHP из MSSQL?
- 1 подписчик
- 19 нояб.
- 130 просмотров
1

ответ
PHP

Средний
Как выявить символы не поддерживаемые кодировкой?
- 2 подписчика
- 18 нояб.
- 224 просмотра
1

ответ
PHP

Простой
Что неправильного в моем коде?
- 1 подписчик
- 18 нояб.
- 234 просмотра
3

ответа
Показать ещё Загружается…

PHP-разработчик

Decart IT-production

от 260 000 до 340 000 ₽

Backend-разработчик PHP

Wanted. • Москва

До 160 000 ₽

Разработчик PHP

Автомакон

от 206 000 ₽

Требуется консультация по UX-дизайну казино

24 нояб. 2024, в 01:35

5000 руб./за проект

Расширение для браузера

24 нояб. 2024, в 01:24

500 руб./за проект

Создать сервер VPS через wireguard

24 нояб. 2024, в 00:04

5000 руб./за проект

Добрый вечер.
Удалите изображение с кодом и вставьте код при помощи специальных тегов.
PetrovUlsk, когда отвечаете на комментарий нажимайте "ответить".
С какого сайта Вы получаете изображения.
slo_nik, с любого сайта который хотим распарсить
PetrovUlsk, со стороннего сайта изображения можно сохранить при помощи copy().
Получайте путь к изображению и сохраняйте на своём сервере.
Что за класс Image? Самописный или это какое-то дополнение?
P.S. Для удобства кстати <?php echo можно записывать просто как <?=:
<?=$advice?>
slo_nik, вот я не понял как вывести хотя бы список этих изображений которые нашлись на сайте. Как путь получить?
PetrovUlsk, так напишите хотя бы примерный код того как вы парсите. Как вы парсите атрибут alt например?
DanKud,
// Update deprecated tags, images, headings $command -> update("{{content}}", array( 'deprecated' => @json_encode($this -> document["deprecatedTags"]), 'headings' => @json_encode($this -> content["headings"]), 'isset_headings' => $this -> content["issetHeadings"], 'total_img' => $this -> image["totalCount"], 'total_alt' => $this -> image["totalAlt"], ), 'wid=:wid', array(':wid' => $wid));

// Insert deprecated tags, headings, images $command -> insert("{{content}}", array( 'wid' => $wid, 'deprecated' => @json_encode($this -> document["deprecatedTags"]), 'headings' => @json_encode($this -> content["headings"]), 'isset_headings' => $this -> content["issetHeadings"], 'total_img' => $this -> image["totalCount"], 'total_alt' => $this -> image["totalAlt"], ));
PetrovUlsk, через print_r() посмотрите, что Вы получаете с сайта.
Документацию к классу Image() посмотрите, какие параметры там настраиваются.
PetrovUlsk, то что вы написали к сожалению вообще ни о чем не говорит. Самого кода парсинга там нет. Вы точно сами писали этот класс или это какое-то готовое решение? В общем смысл в любом случае в том, что вам нужно получит значение атрибуты src у image там и будет ссылка на изображение. А дальше уже с этой ссылкой можете делать, что хотите. Либо вывести на страницу, либо сохранить локально.
DanKud, готовое решение скрипта с сайта preview.codecanyon.net/item/website-review/full_sc...

WebReview_v4.3, действующая версия на их сайте 5.5, но там так же нету отображение изображений. Только их количество
PetrovUlsk, вряд ли в этом скрипте есть встроенный функционал сбора ссылок на изображения. Нужно писать самому. Если учесть, что в $this->html у вас HTML-код страницы, то ссылки на изображения можно получить так:
preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $this->html, $m); $imageList = $m[1]; print_r($imageList);
DanKud, Отлавливаю массив ссылок на изображения
<pre> <?php $url = "http://ritg.ru"; $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); $site = curl_exec($curl); preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); var_dump($res[0]); //Ниже кусок кода чтобы сохранить данные изображения, но мне вместо <b>'img.png'</b>, нужно подставлять тот самый url который нашли $img = $res[0]; file_put_contents('img.png', $img); ?>

и получаем
<html><head></head><body><pre>array(5) { [0]=> string(49) "<img src="/local/templates/ritg2017/img/logo.png" "="" [1]=""> string(48) "<img src="/local/templates/ritg2017/img/nav.png" "="" [2]=""> string(54) "<img src="/local/templates/ritg2017/img/nav-close.png" "="" [3]=""> string(79) "<img alt="globus" src="/upload/iblock/b3a/b3a5167acc32fb4d5fcd4d55c59213e1.png" "="" [4]=""> string(46) "</pre></body></html>

Но в ссылке на изображение отсутствует url сайта, как добавить его чтобы он присваивался. Т.е. нужно сформировать Абсолютный путь до изображения

Если перейти на сайт ritg.ru то наблюдаем Относительную ссылку на изображение которое получили
<div class="head-logo"> <a href="/"> <img src="/local/templates/ritg2017/img/logo.png" alt="logo"> </a> </div>
PetrovUlsk, во-первых все-таки не используйте $res[0] - это не форматированный список изображений и использовать его не совсем корректно. Используйте только массив $res[1] в котором пути до изображений:
..... preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); var_dump($res[1]); $imageList = $res[1]; foreach ($imageList as $k => $v) { if (!preg_match('/^http/', $v)) $imageList[$k] = $site . $v; /* если в начале строки нет http то добавляет адрес сайта */ file_put_contents('img' . $k . '.png', file_get_contents($imageList[$k])); /* сохраняем изображения на диск */ echo '<img src="' . $imageList[$k] . '" alt=""><br>'; /* выводим изображения на страницу */ }

Answer 1 · 2019-03-19 00:47:22

Я получаю "цифру" количество(штук) изображений с сайта. А как мне получить сами изображения?

Зависит от того как Вы их получаете
У Вас есть объект Image$image = new Image($this -> html); Вы в него видимо передете html и он занимается парсингом (вероятно). Как он реализован знаете только Вы, потому что это сторонний код, который к yii2 не имеет никакого отношения. Так что тут без кода только гадалку звать.
Дайте код именно класса Image, если нужен ответ. Возможно там есть нужные методы, а возможно надо их туда добавить. У Вас (вероятно) в $this->html есть html, а значит можно регуляркой достать. Но я думаю, что это все уже есть в Image, надо просто в него заглянуть. Странно если кто-то написал парсер, количество вытянул, а пути нет. Наверняка есть метод, просто загляните в класс.
Кстати есть же готовые универсальные парсеры на php типа:
simplehtmldom.sourceforge.net
phpQuery
https://github.com/Imangazaliev/DiDOM
и т.д.
Возможно Ваш для конкретной задачи будет быстрее работать, но к этим документация есть.

Парсинг сайта, вытащить изображения?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт