Поиск определенного фрагмента по файлам html, как сделать массивно?

Question

[password22]

Здравствуйте. Не знаю с помощью чего можно осуществить подобное, поэтому указал и php и парсер.
Есть, допустим, 20 000 страниц сайта на html. Мне нужно вытащить из них содержимое div с каким-либо классом. Как мне это сделать? Может программа какая-нибудь?

Comments

[uRoot]

Что значит вытащить? Найти и удалить?

[Евгений]

CryNet, или найти и сохранить)

[password22]

CryNet, Евгений, Нужно найти эти фрагменты, допустим 3 фрагмента в каждом файле. И перенести по папкам. То есть 1 папка = вытащенные данные из 1 файла html

[Евгений]

password22, т.е. вам надо открыть прочитать файл, найти дивы (если есть) и сохранить их в папку с файлом каким-то?

[Евгений]

Список файлов есть? Или их нужно тоже найти?

[password22]

Евгений, вот у меня есть 20 000 страниц одного сайта. На каждой странице есть div с одним и тем же классом. Я, грубо говоря, должен вбить в поиск класс этого дива и он должен найтись в каждом html из этих 20 000 и записаться чистым (без остального html кода) в папку. И так каждый найденный класс помещается в новую папку и новый файл в папке

[password22]

Евгений, и списка нету, есть одинаковое расширение файлов. Оно там только по одному на странице есть

[Евгений]

password22, короче, есть папка, в ней 20000 файлов? Нужно найти определенный див с классом и все найденные "в отдельную папку" - что в отдельную папку? В html? txt?

[password22]

Евгений, извините если непонятно объясняю)
1. Есть 20000 страниц сайта (html код)
2. Находим в них одинаковое слово, допустим class="text_text"
3. Выбираем все найденные классы во всех 20000 файлах html, и переносим их в отдельную папку
4. При этом, не в один файл, а чтобы у каждого найденного класса была своя папка. То есть папок будет 20000. (уже найденных и перенесенных без лишнего html)

[password22]

Евгений, еще нужно чтобы скопировалось содержимое div с каким-то классом, конечно же

[password22]

Евгений, и найденное в любой формат. Хоть txt, хоть html

[Евгений]

password22, уже более понятно, но не совсем) в итоге что должно получится?)) 20000 html файлов и в каждом что-то типа
<div class="text_text"> все содержимое дива </div>
Так? А новый класс = новая папка и 20к файлов в ней?

[password22]

Евгений, именно так. Только нужна папка отдельная для каждого файла с дивом. Потому что нужно вынести допустим 3 разных дива, но они же с одного html файла будут. Поэтому чтобы все вынесенное было по папкам. То есть: 1 файл html = 1 папка(3 дива вынесенных в файлах txt или каких-либо еще)

[Евгений]

password22, вот мы за 45 минут смогли выяснить что вам нужно)

[password22]

Евгений, извините если слишком непонятно объясняю :)

[uRoot]

Евгений, попробуйте Тотал Командер. Там расширенная функция поиска. Вы укажите где искать и что. После отобразит в каких файлах нашёл искомую фразу. Если мне не изменяет память, то есть и автозамена (замените на пробел). Может уже может и копировать файлы где нашёл указанную фразу.

[password22]

CryNet, спасибо, сейчас попробую

[Евгений]

password22, папка с исходными файлами у вас на сервере лежит?

[password22]

Евгений, на локальном компьютере. Просто в папке

[Евгений]

password22, еще один вопрос, такой же тег один в одном фале или может быть несколько?))

[Евгений]

чета стало интересно, попробую решить)

[password22]

Евгений, тег один только такой. В каждом файле только один) как id

Answer 1

[Евгений]

предположим что все файлы лежат в dir1, а новые будем создавать в "имя фала/имя класса.html"

$class = 'text_text'; //какой класс ищем...

foreach (glob("dir1/*.html") as $filename) {
  $html = file_get_contents($filename);
  preg_match('<div class="'.$class.'">(.*)</div>', $html, $result);
  file_put_contents($filename.'/'.$class.'.html', $result[0]);
}

с регулярками у меня беда) но в теории код должен работать)) ну и хз как это по времени будет занимать.... более опытные ребята может подправят что-то...

Comments

[password22]

спасибо за помощь, сейчас буду пробовать)
кстати сам пытался до вашего ответа написать что-то такое)

[Евгений]

password22, оказалось не так уж и сложно) просто цикл на 20к записей с регуляркой + прочитать и записать... хз как это сработает... ну и не тестил, могут быть ошибки...

[password22]

Евгений, ваш код у меня пока не работает, но появилась уверенность что я на верном пути) пытаюсь улучшить вашу идею, еще раз спасибо :)

[Евгений]

password22, я не уверен в регулярке, в остальном вроде проблем не должно быть... возможности проверить у меня нет... но

var_dump();
die();

никто не запрещал... посмотрите, что лежит в переменных после каждой строчики, то что ожидается или нет? тогда станет ясно в каком месте код ломается....

[Евгений]

добавьте в начало файла показ ошибок..

spoiler

ini_set('error_reporting', E_ALL);
ini_set('display_errors', 1);
ini_set('display_startup_errors', 1);

можно дебажить таким способом:

foreach (glob("dir1/*.html") as $filename) {
  
  var_dump($filename);
  die();

  $html = file_get_contents($filename);
  preg_match('<div class="'.$class.'">(.*)</div>', $html, $result);
  file_put_contents($filename.'/'.$class.'.html', $result[0]);
}

тут должно быть имя фала на экране... (возможно с директорией, и это может быть первое отклонение, ибо дальше мы работаем без нее...), мне не приходилось еще использовать glob( ) и я не знаю как она вернет имя файла...
______________________________

foreach (glob("dir1/*.html") as $filename) {
  $html = file_get_contents($filename);
  
  var_dump($html);
  die();

  preg_match('<div class="'.$class.'">(.*)</div>', $html, $result);
  file_put_contents($filename.'/'.$class.'.html', $result[0]);
}

если выше все норм, поробуйте так, на экране должно появиться содержимое файла...
потом посмотрите что в $result (должен быть массив всей строки и искомых вхождений...)

[Евгений]

password22, и да, файл .php должен лежать в той же директории что и папка dir1 (название на свое смените)

[Дмитрий]

Евгений, для такого лучше бы подошёл
https://www.php.net/manual/ru/class.recursivedirec...
Указав папку, оно рекурсивно может найти все документы при любой вложенности, ещё можно вместо регулярки использовать https://www.php.net/manual/ru/domxpath.query.php
Это если известна структура
Ну а так впринципе код должен работать

[Евгений]

Дмитрий, ну я так понял, что все файлы лежат в одной директории... а про второе - были мысли покурить phpQuery или SimpleHtml... но я не знаком с этими классами лично, решил стандартными функциями обойтись)

[Евгений]

password22, я тут насчет регулярки подумал)
Она найдет только такую строку:
<div class="text_text">чтоугодно</div>
Если там заданы каке-то другие атрибуты(еще классы, id или стили) - то не пройдет...

[Евгений]

password22, получилось решить?)

[password22]

Евгений, неа) я, видимо, еще многое не понимаю в php.
Но буду пробовать пока не получится :)

[Евгений]

password22, покажите сам див)

[password22]

Евгений, сделал в итоге вот так) день ушел, но сделал

for ($i = 2; $i < 5; $i++) {
// поиск по ключевому слову 
$a = file_get_contents("index-$i.html");
$a = preg_split("~\\n(?=\\s+)~", $a);
$word = 'Игра на ';
print_r(preg_grep("~$word~ui", $a));
}

function getArticles($page) {
    global $articles;
}
// вывод информации
for ($i = 2; $i < 5; $i++) {
    $page = new simple_html_dom();
    $page->load_file("index-$i.html");

$items = $page->find('div.text');  
foreach($items as $post) {
    // comment
    $articles[] = array($post);
    print_r($post->outertext);
}}

Не очень грамотно, но мне пока так можно)

Answer 2

[Arthurka]

1. Делаете цикл на 20000.
2. Делаем открытие папки.
3. Сверяем каждую строку на наличие нужного класса.
4. Если найдено - создаем папку и вносим данные

Comments

[Евгений]

Криво...

[password22]

Вы не могли бы привести пример кода? Я новичок, пока не представляю как сделать открытие папки и что-то искать в ней
и это возможно осуществить на php?

[Arthurka]

Евгений, Что именно криво?

[Arthurka]

password22, Хз на счет php точно, но думаю можно. С кодом не смогу сейчас помочь, но могу с логикой.
Делаем цикл, потом открытие папки, в папке проверяем каждую строку на наличие нужного элемента если есть - создаем папку и тестовый документ, вставляем туда код и продолжаем дальше.

[password22]

Arthurka, спасибо, попробую, если вдруг не получится никак иначе :)