Парсинг сайта, вытащить изображения?

Question

PetrovUlsk @PetrovUlsk

PHP

Парсинг сайта, вытащить изображения?

Делаю парсинг страницы сайта.

Я получаю "цифру" количество(штук) изображений с сайта. А как мне получить сами изображения?
(само изображение, а также параметры его отображения (атрибуты тега: размер, рамка и т.п.)) и если есть возможность сохранить его в папку либо просто отображать превью хотя бы.

Вопрос задан более трёх лет назад
270 просмотров

16 комментариев

Подписаться 1 Простой 16 комментариев

Дмитрий @slo_nik Куратор тега PHP

Добрый вечер.
Удалите изображение с кодом и вставьте код при помощи специальных тегов.

Написано более трёх лет назад
Дмитрий @slo_nik Куратор тега PHP

PetrovUlsk, когда отвечаете на комментарий нажимайте "ответить".
С какого сайта Вы получаете изображения.

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

slo_nik, с любого сайта который хотим распарсить

Написано более трёх лет назад
Дмитрий @slo_nik Куратор тега PHP

PetrovUlsk, со стороннего сайта изображения можно сохранить при помощи copy().
Получайте путь к изображению и сохраняйте на своём сервере.

Написано более трёх лет назад
DanKud @DanKud

Что за класс Image? Самописный или это какое-то дополнение?

Написано более трёх лет назад
DanKud @DanKud

P.S. Для удобства кстати <?php echo можно записывать просто как <?=:
<?=$advice?>

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

slo_nik, вот я не понял как вывести хотя бы список этих изображений которые нашлись на сайте. Как путь получить?

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

DanKud, самописный

Написано более трёх лет назад
DanKud @DanKud

PetrovUlsk, так напишите хотя бы примерный код того как вы парсите. Как вы парсите атрибут alt например?

Написано более трёх лет назад

PetrovUlsk @PetrovUlsk Автор вопроса

DanKud,

// Update deprecated tags, images, headings
		$command -> update("{{content}}", array(
			'deprecated' => 			@json_encode($this -> document["deprecatedTags"]),
			'headings' => 				@json_encode($this -> content["headings"]),
			'isset_headings' => 	$this -> content["issetHeadings"],
			'total_img' => 				$this -> image["totalCount"],
			'total_alt' => 				$this -> image["totalAlt"],
		), 'wid=:wid', array(':wid' => $wid));

// Insert deprecated tags, headings, images
		$command -> insert("{{content}}", array(
			'wid' => 	$wid,
			'deprecated' => @json_encode($this -> document["deprecatedTags"]),
			'headings' => @json_encode($this -> content["headings"]),
			'isset_headings' => $this -> content["issetHeadings"],
			'total_img' => $this -> image["totalCount"],
			'total_alt' => $this -> image["totalAlt"],
		));

Написано более трёх лет назад

Дмитрий @slo_nik Куратор тега PHP

PetrovUlsk, через print_r() посмотрите, что Вы получаете с сайта.
Документацию к классу Image() посмотрите, какие параметры там настраиваются.

Написано более трёх лет назад
DanKud @DanKud

PetrovUlsk, то что вы написали к сожалению вообще ни о чем не говорит. Самого кода парсинга там нет. Вы точно сами писали этот класс или это какое-то готовое решение? В общем смысл в любом случае в том, что вам нужно получит значение атрибуты src у image там и будет ссылка на изображение. А дальше уже с этой ссылкой можете делать, что хотите. Либо вывести на страницу, либо сохранить локально.

Написано более трёх лет назад
PetrovUlsk @PetrovUlsk Автор вопроса

DanKud, готовое решение скрипта с сайта preview.codecanyon.net/item/website-review/full_sc...

WebReview_v4.3, действующая версия на их сайте 5.5, но там так же нету отображение изображений. Только их количество

Написано более трёх лет назад
DanKud @DanKud
PetrovUlsk, вряд ли в этом скрипте есть встроенный функционал сбора ссылок на изображения. Нужно писать самому. Если учесть, что в $this->html у вас HTML-код страницы, то ссылки на изображения можно получить так:
preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $this->html, $m); $imageList = $m[1]; print_r($imageList);
Написано более трёх лет назад

PetrovUlsk @PetrovUlsk Автор вопроса

DanKud, Отлавливаю массив ссылок на изображения

<pre>
<?php
$url = "http://ritg.ru";

$curl = curl_init(); 
curl_setopt($curl, CURLOPT_URL, $url); 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

$site = curl_exec($curl);

preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); 
var_dump($res[0]);

//Ниже кусок кода чтобы сохранить данные изображения, но мне вместо <b>'img.png'</b>, нужно подставлять тот самый url который нашли
$img = $res[0];
file_put_contents('img.png', $img);
?>

и получаем

<html><head></head><body><pre>array(5) {
  [0]=&gt;
  string(49) "<img src="/local/templates/ritg2017/img/logo.png" "="" [1]="">
  string(48) "<img src="/local/templates/ritg2017/img/nav.png" "="" [2]="">
  string(54) "<img src="/local/templates/ritg2017/img/nav-close.png" "="" [3]="">
  string(79) "<img alt="globus" src="/upload/iblock/b3a/b3a5167acc32fb4d5fcd4d55c59213e1.png" "="" [4]="">
  string(46) "</pre></body></html>

Но в ссылке на изображение отсутствует url сайта, как добавить его чтобы он присваивался. Т.е. нужно сформировать Абсолютный путь до изображения

Если перейти на сайт ritg.ru то наблюдаем Относительную ссылку на изображение которое получили

<div class="head-logo">
                <a href="/">
                <img src="/local/templates/ritg2017/img/logo.png" alt="logo">
                </a>
            </div>

Написано более трёх лет назад

DanKud @DanKud

PetrovUlsk, во-первых все-таки не используйте $res[0] - это не форматированный список изображений и использовать его не совсем корректно. Используйте только массив $res[1] в котором пути до изображений:

.....
preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); 
var_dump($res[1]);

$imageList = $res[1];
foreach ($imageList as $k => $v) {
    if (!preg_match('/^http/', $v)) $imageList[$k] = $site . $v; /* если в начале строки нет http то добавляет адрес сайта */
    file_put_contents('img' . $k . '.png', file_get_contents($imageList[$k])); /* сохраняем изображения на диск */
    echo '<img src="' . $imageList[$k] . '" alt=""><br>'; /* выводим изображения на страницу */
}

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 1

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

PHP

Простой
Не работает часть скрипта PHP при смены PHP 7 на 8?
- 1 подписчик
- 11 часов назад
- 114 просмотров
2

ответа
PHP

Средний
Как найти в массиве ответа API нужное значение, при том что значение может быть написано «странно»?
- 1 подписчик
- 17 часов назад
- 122 просмотра
3

ответа
PHP

+1 ещё

Простой
Как отправить сообщение в определенную тему в группе Telegram боту на PHP?
- 1 подписчик
- 17 часов назад
- 57 просмотров
0

ответов
PHP

+1 ещё

Простой
Почему не работает JWT поверка?
- 1 подписчик
- 18 часов назад
- 60 просмотров
0

ответов
PHP

+1 ещё

Средний
Как отладить плавающий баг проверки капчи?
- 1 подписчик
- 19 часов назад
- 54 просмотра
1

ответ
PHP

Простой
Как вывести переменную php которая выводит путь к файлу в строке $data = File('assets/files/uslugi-i-ceny/558.csv');?
- 1 подписчик
- 21 час назад
- 94 просмотра
0

ответов
PHP

+1 ещё

Простой
Как сделать авторизацию по двум таблицам в Symfony?
- 1 подписчик
- вчера
- 81 просмотр
2

ответа
PHP

+1 ещё

Простой
Как исправить ошибку Uncaught Error: Call to undefined function mysql_real_escape_string?
- 1 подписчик
- вчера
- 97 просмотров
3

ответа
PHP

Простой
Как записать в базу пустое поле?
- 1 подписчик
- 21 апр.
- 168 просмотров
3

ответа
PHP

+2 ещё

Средний
Ошибка при регистрации PHP, в Unity, что делать?
- 1 подписчик
- 20 апр.
- 84 просмотра
0

ответов
Показать ещё Загружается…

PHP разработчик

Ведисофт • Екатеринбург

от 25 000 ₽

PHP Developer

YCLIENTS • Москва

от 200 000 до 350 000 ₽

Midlle PHP developer (backend)

ИТЦ Аусферр • Магнитогорск

от 100 000 до 160 000 ₽

Переделать скрипт на питоне (добавить прокси с авторизацией)

23 апр. 2024, в 09:39

500 руб./за проект

Довести разработку flutter приложения до логичного конца

23 апр. 2024, в 09:24

15000 руб./за проект

SMM для HR

23 апр. 2024, в 08:58

15000 руб./за проект

Добрый вечер.
Удалите изображение с кодом и вставьте код при помощи специальных тегов.
PetrovUlsk, когда отвечаете на комментарий нажимайте "ответить".
С какого сайта Вы получаете изображения.
slo_nik, с любого сайта который хотим распарсить
PetrovUlsk, со стороннего сайта изображения можно сохранить при помощи copy().
Получайте путь к изображению и сохраняйте на своём сервере.
Что за класс Image? Самописный или это какое-то дополнение?
P.S. Для удобства кстати <?php echo можно записывать просто как <?=:
<?=$advice?>
slo_nik, вот я не понял как вывести хотя бы список этих изображений которые нашлись на сайте. Как путь получить?
PetrovUlsk, так напишите хотя бы примерный код того как вы парсите. Как вы парсите атрибут alt например?
DanKud,
// Update deprecated tags, images, headings $command -> update("{{content}}", array( 'deprecated' => @json_encode($this -> document["deprecatedTags"]), 'headings' => @json_encode($this -> content["headings"]), 'isset_headings' => $this -> content["issetHeadings"], 'total_img' => $this -> image["totalCount"], 'total_alt' => $this -> image["totalAlt"], ), 'wid=:wid', array(':wid' => $wid));

// Insert deprecated tags, headings, images $command -> insert("{{content}}", array( 'wid' => $wid, 'deprecated' => @json_encode($this -> document["deprecatedTags"]), 'headings' => @json_encode($this -> content["headings"]), 'isset_headings' => $this -> content["issetHeadings"], 'total_img' => $this -> image["totalCount"], 'total_alt' => $this -> image["totalAlt"], ));
PetrovUlsk, через print_r() посмотрите, что Вы получаете с сайта.
Документацию к классу Image() посмотрите, какие параметры там настраиваются.
PetrovUlsk, то что вы написали к сожалению вообще ни о чем не говорит. Самого кода парсинга там нет. Вы точно сами писали этот класс или это какое-то готовое решение? В общем смысл в любом случае в том, что вам нужно получит значение атрибуты src у image там и будет ссылка на изображение. А дальше уже с этой ссылкой можете делать, что хотите. Либо вывести на страницу, либо сохранить локально.
DanKud, готовое решение скрипта с сайта preview.codecanyon.net/item/website-review/full_sc...

WebReview_v4.3, действующая версия на их сайте 5.5, но там так же нету отображение изображений. Только их количество
PetrovUlsk, вряд ли в этом скрипте есть встроенный функционал сбора ссылок на изображения. Нужно писать самому. Если учесть, что в $this->html у вас HTML-код страницы, то ссылки на изображения можно получить так:
preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $this->html, $m); $imageList = $m[1]; print_r($imageList);
DanKud, Отлавливаю массив ссылок на изображения
<pre> <?php $url = "http://ritg.ru"; $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); $site = curl_exec($curl); preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); var_dump($res[0]); //Ниже кусок кода чтобы сохранить данные изображения, но мне вместо <b>'img.png'</b>, нужно подставлять тот самый url который нашли $img = $res[0]; file_put_contents('img.png', $img); ?>

и получаем
<html><head></head><body><pre>array(5) { [0]=> string(49) "<img src="/local/templates/ritg2017/img/logo.png" "="" [1]=""> string(48) "<img src="/local/templates/ritg2017/img/nav.png" "="" [2]=""> string(54) "<img src="/local/templates/ritg2017/img/nav-close.png" "="" [3]=""> string(79) "<img alt="globus" src="/upload/iblock/b3a/b3a5167acc32fb4d5fcd4d55c59213e1.png" "="" [4]=""> string(46) "</pre></body></html>

Но в ссылке на изображение отсутствует url сайта, как добавить его чтобы он присваивался. Т.е. нужно сформировать Абсолютный путь до изображения

Если перейти на сайт ritg.ru то наблюдаем Относительную ссылку на изображение которое получили
<div class="head-logo"> <a href="/"> <img src="/local/templates/ritg2017/img/logo.png" alt="logo"> </a> </div>
PetrovUlsk, во-первых все-таки не используйте $res[0] - это не форматированный список изображений и использовать его не совсем корректно. Используйте только массив $res[1] в котором пути до изображений:
..... preg_match_all('/<img.+?src=["|\']{1}(.*?)["|\']{1}/', $site, $res); var_dump($res[1]); $imageList = $res[1]; foreach ($imageList as $k => $v) { if (!preg_match('/^http/', $v)) $imageList[$k] = $site . $v; /* если в начале строки нет http то добавляет адрес сайта */ file_put_contents('img' . $k . '.png', file_get_contents($imageList[$k])); /* сохраняем изображения на диск */ echo '<img src="' . $imageList[$k] . '" alt=""><br>'; /* выводим изображения на страницу */ }

Answer 1 · 2019-03-19 00:47:22

Я получаю "цифру" количество(штук) изображений с сайта. А как мне получить сами изображения?

Зависит от того как Вы их получаете
У Вас есть объект Image$image = new Image($this -> html); Вы в него видимо передете html и он занимается парсингом (вероятно). Как он реализован знаете только Вы, потому что это сторонний код, который к yii2 не имеет никакого отношения. Так что тут без кода только гадалку звать.
Дайте код именно класса Image, если нужен ответ. Возможно там есть нужные методы, а возможно надо их туда добавить. У Вас (вероятно) в $this->html есть html, а значит можно регуляркой достать. Но я думаю, что это все уже есть в Image, надо просто в него заглянуть. Странно если кто-то написал парсер, количество вытянул, а пути нет. Наверняка есть метод, просто загляните в класс.
Кстати есть же готовые универсальные парсеры на php типа:
simplehtmldom.sourceforge.net
phpQuery
https://github.com/Imangazaliev/DiDOM
и т.д.
Возможно Ваш для конкретной задачи будет быстрее работать, но к этим документация есть.

Парсинг сайта, вытащить изображения?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт