Как сделать парсинг информации сайта?

Question

[Koreetz Koreetz]

Доброго времени суток!
На работе поставили задачу: есть определенные сайты надо "взять с них информацию" как это сделать через парсинг? (чтобы не делать тупо копи-паст!), причем инфу нужно будет вставить либо в excel либо в карточку товара 1С?
Возможно ли это вообще......?

Comments

[Виталий Инчин ☢]

Для начала, на каком языке вы собрались выполнять данную задачу?

Answer 1

[Владимир Мартьянов]

Вообще возможно. Пишете скрипт на Python/Perl/Go/прочем, получаете страницу, выдираете с нее информацию, записываете куда надо.

Comments

[Koreetz Koreetz]

Жаль но я незнаю этих языков((, есть ли готовая прога?)

[Владимир Мартьянов]

Дмитрий Мальнев: Готовая прога для произвольного сайта, которой не надо никак объяснять что выдирать и что потом с этим делать? Сами в такое верите? :-)

Answer 2

[Кирилл]

Я пробовал на Python+Grab за два вечера наваял парсер для лостфильма, который собирал всю информацию и картинки о сериалах. Сохранялось все в exel. Изучить достаточно легко.

Answer 3

[jacksparrow]

В зависимости от того что вы вкладываете в значения слова парсинг, парсить- получать страницы можно курлом, а парсить- анализировать дом через simple html Dom parser.

Answer 4

[LINKeR UA]

Я использую многопоточно CURL (мультикурл) через proxy - для того чтобы получить контент предположим с 100-500 страниц за 3-5 секнд. И PHP DomDocument + DomXPath для выпаршивания.

Благо мощности сервера хватает.

Comments

[stayHARD]

Можно где-то посмотреть на ваше чудо?

[LINKeR UA]

Разрабатывал я когда-то универсальный кикабельный парсер веб-ресурсов с модулем паука на борту. Проект был коммерчески большего масштаба, по-этому мне кажется не хорошо выкладывать хорошо документированный ООП код в сеть в свободный доступ, все-таки денги за это платились не малые. Я поделюсь отдельными частями проекта:

/**
* Class Web_Processor - мультипоточный загрузчик!
*
* !!!!! - Будет зависать если идет работа с сессией! делдать session_write_close() перед вызовом!
*
*/
class Web_Processor {
protected $conf;

/** var \Web_Response[]*/
protected $response = array();

public function __construct(array $urls, Web_Configurator &$conf){//multi thread
$this->conf = &$conf;

$_autoreferrer = Kohana::$config->load('admin_/webloader.curl_autoreferer-X-val');
$_follow_loc = Kohana::$config->load('admin_/webloader.curl_followlocation-X-val');
$_max_redirects = Kohana::$config->load('admin_/webloader.curl_maxredirs-X-val');
$_connection_timeout = Kohana::$config->load('admin_/webloader.curl_connectiontimeout-X-val');
$_curl_timeout = Kohana::$config->load('admin_/webloader.curl_timeout-X-val');
//
$_autoreferrer = (bool) $_autoreferrer;
$_follow_loc = (bool) $_follow_loc;
$_max_redirects = (int) $_max_redirects;
$_connection_timeout = (int) $_connection_timeout;
$_curl_timeout = (int) $_curl_timeout;

// инициализируем "контейнер" для отдельных соединений (мультикурл)
$cmh = curl_multi_init();

// массив заданий для мультикурла
$tasks = array();

// перебираем наши урлы
foreach ($urls as $url) {
// инициализируем отдельное соединение (поток)
$ch = curl_init($url); //URL запроса
// если будет редирект - перейти по нему

curl_setopt($ch, CURLOPT_AUTOREFERER, $_autoreferrer); //для автоматической установки поля Referer: в запросах, перенаправленных заголовком Location:
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, $_follow_loc); //для следования любому заголовку "Location: ", отправленному сервером в своем ответе (учтите, что это происходит рекурсивно, PHP будет следовать за всеми посылаемыми заголовками "Location: ", за исключением случая, когда установлена константа CURLOPT_MAXREDIRS
curl_setopt($ch, CURLOPT_MAXREDIRS, $_max_redirects); //Максимальное количество принимаемых редиректов. Используйте этот параметр вместе с параметром CURLOPT_FOLLOWLOCATION

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); //FIX для "HTTPS://" - без цього не хоче грузити контент

curl_setopt($ch, CURLOPT_HEADER, 0); // TRUE для включения заголовков в вывод.

curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $_connection_timeout); // Количество секунд ожидания при попытке соединения. Используйте 0 для бесконечного ожидания.
curl_setopt($ch, CURLOPT_TIMEOUT, $_curl_timeout); //Максимально позволенное количество секунд для выполнения cURL-функций
//
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // TRUE для возврата результата передачи в качестве строки из curl_exec() вместо прямого вывода в браузер.
curl_setopt($ch, CURLINFO_HTTP_CODE, true); // ВОЗВРАТ КОДОВ СОСТОЯНИЯ

curl_setopt($ch, CURLOPT_PROXY, $this->conf->getProxyIP().":".$this->conf->getProxyPort()); //PROXY TODO UNCOMMENT
curl_setopt($ch, CURLOPT_USERAGENT, $this->conf->getUserAgent()); //ПОДМЕНА БРАУЗЕРА
if($referrer = $this->conf->getReferrer() !== false){ //REFERRER
curl_setopt($ch, CURLOPT_REFERER, $referrer);
}

// добавляем дескриптор потока в массив заданий

$tasks[$url] = $ch;
// добавляем дескриптор потока в мультикурл
curl_multi_add_handle($cmh, $ch);
}

// количество активных потоков
$active = null;
// запускаем выполнение потоков
do {
$mrc = curl_multi_exec($cmh, $active);
// sleep(0.1);
}
while ($mrc == CURLM_CALL_MULTI_PERFORM);

// выполняем, пока есть активные потоки
while ($active && ($mrc == CURLM_OK)) {
// sleep(0.1);
// если какой-либо поток готов к действиям
if (curl_multi_select($cmh) != -1) {
// ждем, пока что-нибудь изменится
do {
$mrc = curl_multi_exec($cmh, $active);
// получаем информацию о потоке
$info = curl_multi_info_read($cmh);
// если поток завершился
if ($info['msg'] == CURLMSG_DONE) {
$ch = $info['handle'];
// ищем урл страницы по дескриптору потока в массиве заданий
$url2 = array_search($ch, $tasks);
// забираем содержимое
$tasks[$url2] = curl_multi_getcontent($ch);
$this->response[] = new Web_Response(
$url2,
curl_getinfo($ch), //headers
curl_multi_getcontent($ch), //response body
curl_errno($ch), //error code
curl_error($ch) //error message
);
// удаляем поток из мультикурла
curl_multi_remove_handle($cmh, $ch);
// закрываем отдельное соединение (поток)
curl_close($ch);
}
// sleep(0.1);
}
while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}

// закрываем мультикурл
curl_multi_close($cmh);

// return $this->response;

}

public function results(){
return $this->response;
}

}

Потом сюда мы скармливаем разметку:

protected static function toDOMXPath($html){

$dom_doc = new DOMDocument("1.0", "utf-8");

@$dom_doc->loadHTML( mb_convert_encoding($html, 'HTML-ENTITIES', 'UTF-8') ); // otto.de - helps instead of $page_->document->encoding = 'UTF-8';

$page_ = new DOMXPath($dom_doc);

$page_->document->encoding = 'UTF-8';

return $page_;

}

А так выглядит пример извлечения ссылок меню:

protected function extractMenu_mainPage($html_content){

$result = array();

$xpath_code= '//div[@id="navigationWrp"]//ul[contains(@class, "firstRow")]/li/a';

$DOMXPath = self::toDOMXPath($html_content);

$elements = $DOMXPath->query($xpath_code);

for($i=0; $i < $elements->length; $i++ ){

$url = $elements->item($i)->getAttribute('href');

$res = array(

'anchor' => trim($elements->item($i)->nodeValue),

'url' => 'https://www.otto.de'.$url

);

$result[] = $res;

}

return $result;

}