Как организовать парсер страницы и внутри содержимого?

Question

[generate]

Я сделал парсер, сначало он берет все нужные ссылки страницы дальше преобразует их в массив.
Есть второй парсер который сделал парсит содержимое внутри этих ссылок.

У меня вопрос как можно сделать так чтобы он из массива по очереди брал и вставлял в парсер ссылку внутренний и записывал в бд. Вообще ничего не могу придумать кроме того как сначало берет ссылку записывает в тхт потом парсит по крону по очереди.

Answer 1

[Алексей Сундуков]

А что мешает сразу вытащить нужное содержимое? Например, с использованием XPath. Я для парсеров только его и использую: https://youtu.be/id_MNxmdRvk

Comments

[generate]

XPath мне вообще не понятен лучше php, в xpath не записать в бд и не сделать веб страницу где можно вставить ссылку и спарсить

[Дмитрий]

generate, так это и есть php. При желании можно и запись в базу организовать.
Что именно Вы хотите записывать в базу?

[generate]

Дмитрий, Например он переходит на страницу категории товаров, там допустим 20 товаров. Он берет сначало ссылки на них потом содержимое внутри пишет в базу. Это название картинку описание и так далее.

[Алексей Сундуков]

generate, предлагаю сделать так. Написать адрес сайта, страницу с которой тащим данные и что хотим получить. А я приведу пример на PHP с использованием XPath и запись в базу. Обычно на конкретных примерах кода разобраться проще.

[Дмитрий]

потом содержимое внутри пишет в базу

generate, что значит содержимое внутри? Значение атрибута href ссылки или совершает переход по ссылке на страницу товара и парсит данные по товару?

[Дмитрий]

generate, если я правильно понял, то Вам надо изучить этот вебинар.
На примере форума показано, как парсить содержимое тем с постраничной навигацией. Уверен, что Вам это видео поможет.
Единственное что Вам надо будет сделать, так это переписать код под свои потребности.

[generate]

Алексей Сундуков, Для примера я создал страница и внутри ссылки, в каждой ссылке находятся содержимое пусть будет название. Нужно сначало спарсить ссылки дальше получить содержимое то что внутри.
wordperser.ga/stranisa.html

Этот код спарсил все ссылки
<?php
require_once 'phpQuery.php';

$str = file_get_contents('wordperser.ga/stranisa.html');
$pq = phpQuery::newDocument($str);

$links = $pq->find('a');

foreach ($links as $link) {

$pqLink = pq($link); //pq делает объект phpQuery

$text[] = $pqLink->html();
$href[] = $pqLink->attr('href');
}

var_dump($href);
?>

А это спарсил название первой ссылки

<?php
require_once 'phpQuery.php';
ini_set('max_execution_time', 0);

$id = $_POST['zvuk_id'];

$html = file_get_contents('wordperser.ga/1.html');

phpQuery::newDocument( $html );
$title = pq('h1') ->text();
echo $title;
?>

Как сделать так чтобы, он спарсил все название из ссылок которые передал массивом первая конструкция

[generate]

Дмитрий, Видео длиться 3 часа )
Я за 2 часа научился php, посмотрев серию видео уроков php с нуля, работа с mysql, массивы, переменные, циклы, работа с файлами.

[Дмитрий]

generate, хотите разобраться в теме - смотрите, не хотите - смотрите видосики по 15-ть минут и уверяйте себя, что Вы чему-то "научились".

Я за 2 часа научился php

Ржунимагу япацтулом)))

[Алексей Сундуков]

generate, так $text[] = $pqLink->html(); в первом скрипте уже получил названия ссылок. В чем проблема?

[Алексей Сундуков]

generate,

<?php

$pageContent = file_get_contents('http://wordperser.ga/stranisa.html');
$document = new DOMDocument();
$document->loadHTML($pageContent);
$xpath = new DOMXPath($document);

$nodeList = $xpath->query('//a/text()');
/** @var DOMNode $node */
foreach ($nodeList as $node) {
    echo $node->textContent . PHP_EOL;
}

[generate]

Дмитрий, Научилса основам