Как исправить, ssl блокирует парсер simple_html_dom?

Question

[artemka170691]

Подскажите как применить код №1, к моему №2, перепробовал все варианты уже. Парсер блокируется ssl.
Код №1:

$arrContextOptions=array(
    "ssl"=>array(
        "verify_peer"=>false,
        "verify_peer_name"=>false,
    ),
);
$html = file_get_html("https://new.starbyte.ru/article/{PRODUCT_ID}", false, stream_context_create($arrContextOptions));

Код №2:

<?php
namespace Supplier;
use Model\Supplier;
defined('PIMPORT') or die('Error access');
/**
 * Class NEWW
 * @package Supplier
 */
class NEWW extends \Infr\Supplier {
    /** @var string */
    protected $_host = 'https://new.starbyte.ru';
    /** @var string */
    protected $_productMask = 'https://new.starbyte.ru/article/{PRODUCT_ID}';
    protected function _getPrice() {
        //проверяем подключен ли плагин и к нему поставщик
        $class = 'Plugins\Suppliers\Supplier\NEWW';
        if (class_exists($class)) {
            /** @var \Plugins\Suppliers\Infr\Supplier $supplierItem */
            $supplierItem = new $class;
            $pricePath = $supplierItem->getPricePath();
            if (file_exists($pricePath)) {
                return file_get_contents($pricePath);
            } else {
                throw new \Exception('Прайс-лист для поставщика не загружен');
            }
        } else {
            throw new \Exception('К плагину Suppliers не подключен нужный поставщик');
        }
    }
    public function getProduct(Supplier $supplier, Supplier\Product $product, array $params = array()) {
        if ($product->url) {
            $html = \Infr\Request::httpRequest($product->url);			
			if ($html) {
				$dom = \Infr\str_get_html($html);
				if ($dom) {
					$pics = $dom->find('.photos a');
if ($pics) {
foreach($pics as $pic) {
$product->pictures[] = 'http:'.$pic->getAttribute('href');
}
}
                    $techpars = $dom->find('.tab-content', 0);                        
						 if ($techpars){
$techpars = preg_replace("!<a class=\"link\"(.*?)>(.*?)</a>!si","\\2",$techpars); //Удаление ссылок
$techpars = preg_replace("!<a(.*?)>(.*?)</a>(.*?)</nobr>!si","\\2",$techpars); //Удаление ссылки PDF
                         $desc = $techpars;
                         $product->description = $desc;
						 
                         }        
					unset($dom);
				}
			}
            unset($html);
        }

        return $product;
    }

Comments

[Антон Шаманов]

FanatPHP твой клиент)

Answer 1

[rPman]

загрузи страничку вручную тем же curl а парсеру корми строчку методом str_get_html

Comments

[artemka170691]

не совсем понял. можно подробнее

[rPman]

у тебя парсер грузит страничку из интернета с помощью метода file_get_html там еще контекст подменяется чтобы бороться с проблемой старых версий ssl в php и судя по всему неправильно, мне леньразбираться, метод решения выбран наисложнейший

у simple_html_dom есть метод str_get_html который берет страничку из строки а не из инитернета, т.е. ты скачай свою страницу чем-то более удобным например curl и подсунь ее в виде строки парсеру

[artemka170691]

rPman, дак в моем коде №2 и есть методом str_get_html на сколько я вижу

[rPman]

$html = \Infr\Request::httpRequest($product->url);ну никто не знает что у тебя тут за метод, он грузит там и смотри

ты вообще не понимаешь на что смотришь?

[artemka170691]

rPman, ну если бы понимал сюда бы не писал)
вот что там

<?php
namespace Infr;

defined('PIMPORT') or die('Error access');

//класс требует подключение зандовской библиотеки
require_once 'Zend' . DS . 'Http' . DS . 'Client.php';

/**
 * Class Request
 * @package Infr
 */
class Request extends Singleton {

    /**
     * @param $url
     */
    public function redirect($url) {
        header('Location: ' . $url);
        exit();
    }

    /**
     * @static
     * @param $URL
     * @param int $time
     * @param array $params
     * @param string $method
     * @param bool $URL2
     * @return bool|string
     */
    public static function httpRequestCache($URL, $time = 900, $params = array(), $method = 'get', $URL2 = false) {
        $cacheFileName = md5($URL . $URL2);
        $cacheFilePath = DIR_ROOT . DS . 'tmp' . DS . 'files' . DS . $cacheFileName;

        if (file_exists($cacheFilePath)) {
            $fileModTime = filemtime($cacheFilePath);
            if ($fileModTime > (time() - $time)) {
                return file_get_contents($cacheFilePath);
            }
        }

        $cacheContent = self::httpRequest($URL, $params, $method, $URL2);
        if ($cacheContent !== false) {
            file_put_contents($cacheFilePath, $cacheContent);
        }
        return $cacheContent;
    }

    /**
     * Запрос к серверу
     * @param $URL
     * @param array $params
     * @param string $method
     * @param bool $URL2
     * @return bool|array|string
     */
    public static function httpRequest($URL, $params = array(), $method = 'get', $URL2 = false) {
        if (!\Zend_Uri::check($URL)) {
            return false;
        }

        $logObject = new Log('requests');

        $config = array(
            'maxredirects' => 5,
            'strictredirects' => false,
            'timeout' => 150,
            'adapter' => 'Zend_Http_Client_Adapter_Socket'
        );
        $client = new \Zend_Http_Client($URL, $config);

        $client->setHeaders('User-Agent:Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36');

        $client->resetParameters();
        $client->setCookieJar();

        if ($method == 'get') {
            $client->setMethod(\Zend_Http_Client::GET);
            $client->setParameterGet($params);
        } else {
            $client->setMethod(\Zend_Http_Client::POST);
            $client->setParameterPost($params);
        }

        try {
            $client->request();
        } catch (\Exception $e) {
            echo $e->getMessage();
            $logObject->write('Не удалось загрузить ' . $URL);
        }

        if ($URL2) {
            if (is_array($URL2)) {
                $responses = array();

                foreach ($URL2 as $key => $subUrl) {
                    if (!\Zend_Uri::check($subUrl)) {
                        continue;
                    }
                    $client->resetParameters();
                    $client->setMethod(\Zend_Http_Client::GET);
                    $client->setUri($subUrl);
                    try {
                        $client->request();
                    } catch (\Exception $e) {
                        $logObject->write('Не удалось загрузить ' . $subUrl);
                    }

                    $response = $client->getLastResponse();

                    if (!$response || !is_object($response)) {
                        continue;
                    }

                    if (preg_match('|^40|', $response->getStatus())) {
                        $logObject->write('ERROR(' . $response->getStatus() . '): ' . $URL);
                        continue;
                    }

                    $responses[$key] = $response->getBody();
                }

                return $responses;
            } else {
                if (!\Zend_Uri::check($URL2)) {
                    return false;
                }
                $client->resetParameters();
                $client->setMethod(\Zend_Http_Client::GET);
                $client->setUri($URL2);
                try {
                    $client->request();
                } catch (\Exception $e) {
                    $logObject->write('Не удалось загрузить ' . $URL2);
                }
            }
        }

        $response = $client->getLastResponse();

        if (!$response || !is_object($response)) {
            return false;
        }

        if (preg_match('|^40|', $response->getStatus())) {
            $logObject->write('ERROR(' . $response->getStatus() . '): ' . $URL);
            return false;
        }

        return $response->getBody();
    }

}

[rPman]

я не могу помочь тебе, да и не хочу
у тебя используется zend (как люди любят усложнять простой код, это жесть какая то) это значит версия ssl привязана к php а она устарела, если хочешь чтобы перестала выпадать ошибка, обнови php

все необходимое я написал в ответе, у curl есть возможность отключить контроль https, так же можно тупо запустить стороннюю утилиту curl с помощью `curl $url ...`, так как версия curl и ssl в операционной системе обновляется оперативнее, ошибок не будет.