Как парсить html регулярными выражениями php?

Question

[dmitred]

Здравствуйте, пытаюсь спарсить музыку в вк. Задача просто спарсить исполнителей и названия песен определенного пользователя.

html_dom библиотека после 50 записей уже просто виснет страница и ничего не выполняется, не будет ли эффективнее регулярными выражениями парсить? я в них вообще ноль( вот пример блока который надо разобрать, таких может быть и 400.

<div class="audio_title_wrap"><a href="/search?c[q]=%D0%97%D0%BD%D0%B0%D0%BA%D0%B8&amp;c[section]=audio&amp;c[performer]=1" onmouseover="setTitle(this)" nodrag="1" onclick="return audioSearchPerformer(this, event)" class="audio_performer">Знаки</a><span class="audio_info_divider">–</span><span class="audio_title _audio_title" onmouseover="setTitle(this, domPN(this))"><span class="audio_title_inner" tabindex="0" nodrag="1" aria-label="Один Человек" onclick="return toggleAudioLyrics(event, this, '7576740_421989543', '298903473')">Один Человек</span>

На выходе надо получить строку : "знаки один человек"
как не используя сторонние библиотеки вытащить это все в цикле?

Answer 1

[xmoonlight]

Уберите все теги следующей функцией из строки в примере:

<?php
function clear_tags($s){
     $s=preg_replace('/\<.+\>(.+)/','$1',$s);
     return preg_replace('/(.+)\<.+/','$1',$s);
}

$s=<<<t
<div class="audio_title_wrap"><a href="/search?c[q]=%D0%97%D0%BD%D0%B0%D0%BA%D0%B8&amp;c[section]=audio&amp;c[performer]=1" onmouseover="setTitle(this)" nodrag="1" onclick="return audioSearchPerformer(this, event)" class="audio_performer">Знаки</a><span class="audio_info_divider">–</span><span class="audio_title _audio_title" onmouseover="setTitle(this, domPN(this))"><span class="audio_title_inner" tabindex="0" nodrag="1" aria-label="Один Человек" onclick="return toggleAudioLyrics(event, this, '7576740_421989543', '298903473')">Один Человек</span>
t;

if (preg_match("/>([^>]+?)<\/a>/usi",$s,$matches)) {
	$match=$matches[1];
        echo $match.' - '.clear_tags($s); // Знаки - Один Человек
}
?>

Comments

[dmitred]

если теги убрать как html_dom будет парсить?

[xmoonlight]

dmitred: он не нужен тут для пары строк...

[dmitred]

xmoonlight: это фрагмент кода таких блоков может быть в $response и 500

[xmoonlight]

dmitred: ну так в цикл оберните и все...

[dmitred]

xmoonlight: Спасибо получилось

[xmoonlight]

dmitred: Я настоятельно советую Вам поучить regex-выражения. Лично у меня заняло это ровно 2 недели full-time. (возможно, это over-time и я - тупой! ))) )
Но поверьте: я кодирую на 5 ЯП и это существенно стало упрощать мне жизнь...
https://regex101.com/ - то, где я тестирую выражения в on-line.
Но, изначально, нужно знать наизусть: https://www.cheatography.com/davechild/cheat-sheet...
Я тренировался на своих же выдуманных примерах по выборке... Утомительно? - ДА! (и ещё как....)
Но, за то потом, сколько пользы - я это понимал и делал....
Желаю Вам пройти тот же путь и быть экспертом в регулярках.
Да...., и с ПРАЗДНИКОМ, Вас!!!
Спасибо!

Answer 2

[WQP]

Очищайте память, у вас перегрузка. На более мощном пк такого не будет. Регулярки потребляют ещё больше памяти.

Comments

[dmitred]

require_once 'simple_html_dom.php';
$html = str_get_html($response);
foreach($html->find('a') as $element)
echo $element->href . '
';

вот как мне в цикле тут память очистить, у меня в ответ страница приходит на ней уже сразу например 400 записей, все это в response

Answer 3

[Jony1337]

У тебя там denwer или хостинг , для парсинга лучшее это сервер от 2 гб оперативки , на sprinthost дают пробный месяц , не реклама !

Comments

[dmitred]

CPU 2 ядра × 2000 МГц
RAM 2048 МБ
Диск 20 ГБ
Образ CentOS 7

[dmitred]

VPS у меня на джино

[Jony1337]

dmitred: значит не используй html_dom а просто регулярками вытаскивай всё что тебе нужно .

[dmitred]

Jony1337: WQP @WQP
Очищайте память, у вас перегрузка. На более мощном пк такого не будет. Регулярки потребляют ещё больше памяти.

[dmitred]

Jony1337: 6-ps.ru/vk_console.php

[dmitred]

dmitred: вот замечательно работает на записях 65 когда их а вот 300 все вообще никак, может в коде что можно придумать например в цикле когда разбор идет?
$html = str_get_html($response);
foreach($html->find('div.audio_title_wrap') as $element)
echo $element->plaintext . '
';

$html->clear();
unset($html);

[Jony1337]

dmitred: сделай ещё 1 скрипт он будет отправлять через curl get или post запрос на этот скрипт раз в 2 секунды , то есть скрипт для парсинга будет принимать запрос , выполнятся для 65 записей потом вдыхать 2 секунды освобождая память , уловил суть ?

[dmitred]

Jony1337: суть понятна но тут сложности... вкратце это через phantomjs приходит страница потому как другими способами проскролить нереально страницу чтобы больше 50 записей получить... апи было но вк его прикрыл по записям там бы все проще было... вот мне и нужно как то распарсить то что пришло... несколько раз обращаться не пойму как, писать куда то html этой страницы - тоже жесть.... хотел попробовать регуляркой но вот не хватает знаний ее написать

[Jony1337]

dmitred: дай свой скайп помогу

[dmitred]

Jony1337: dmitred1