Как написать скрипт для парсинга изображений с html страниц локально?

Question

[toster_root]

Подскажите пожалуйста, как реализовать следующее:
Есть очень много html страниц (скаченные на ПК). На данных страницах расположены каталоги фото. Вручную собственно качать отдельно каждую картинку не лучший вариант. Хотелось бы выгрузить все фото со страниц html в отдельную папку. Как это можно сделать? Думаю попробовать самому разобраться и написать подобный скрипт если это реально конечно выполнить (выгрузить фото с html файла).

PS. Язык по сути не важен, но желательно пхп, js/нода.

Answer 1

[hzzzzl]

выгрузить все фото со страниц html -- они там просто как img src="" ?

cheerio.js для ноды,
в него загружаешь html, и из него через обычные css-селекторы получаешь массивы
https://hackernoon.com/cheerio-node-nodejs-tutoria...
https://github.com/cheeriojs/cheerio

то есть псевдокодом
fs.readFile('myHtml.html') -> cheerio.load(file) -> imageArray = $(' .klassFotok img ') -> imageArray.forEach принести img src и сохранить

Comments

[toster_root]

hzzzzl Помогите пожалуйста, что то голова сегодня вообще не работает.
У меня получается структура каталогов такая:
- Пользователь 1
- - - Название 1
- - - - - Папка 1
- - - - - - - images.html
- - - Название 2
- - - - - Папка 2
- - - - - - - images.html
- Пользователь 2
- - - Название 1
- - - - - Папка 1
- - - - - - - images.html
- - - Название 2
- - - - - Папка 2
- - - - - - - images.html

и т.д. Мне нужно распарсить только images.html в директориях. Как расписать это в циклах? Думал это будет легче, просто год уже к коду не притрагивался, вообще все выветрилось. Мне надо чтобы скрипт не зависел от названий директорий

[hzzzzl]

toster_root, нашел такое :)
https://gist.github.com/victorsollozzo/4134793

эту штуку в корневой каталог, ext_file_list = recFindByExt('./', 'html') вернет массив с адресами всех хтмл-файлов во всех под-директориях

[toster_root]

hzzzzl, написал уже сам)).
В общем у меня получается что на каждой итерации доступен нужный файл html, точнее его путь. Как теперь в cheerio его загрузить? Что то не выходит. вроде load срабатывает а дальше как не знаю. при поиске селектора ошибка.

[hzzzzl]

так там не через .find, а data() это и есть функция/объект cheerio

const $ = cheerio.load('Hello world')
$('h2.title').text('Hello there!')

....

если посмотреть здесь, то что будет?
const data = cheerio.load(...)
console.log(data('img'))

ну или в VS Code в дебаггере поставить остановку после const data = .., и там уже в отладчике посмотреть, чему дата становится равна?

если я правильно помню навскидку, то я бы делал так:

allImageLinks = data('img')
  .map(function(i, el) {
  return $(this).attr('src');
})
  .toArray()

но это неточно :) я делал через чиирио, но сейчас просто смотрю документацию на гитхабе

[hzzzzl]

аа, вижу что метод .find() тоже есть..
ну должно работать как бы, а fs.fileReadSync точно приносит содержимое файла?

вот как я делал в свое время, но я делал не из локальных файлов, а сначала подгружал статью из интернета в переменную html, но по идее то же самое

//  html = содержимое файла
const $ = cheerio.load(html)
const h1 = $('.article h1').text()
const body = $('.article__body p')      // все р
  .map((i, el) => $(el).text())         // текст из них
  .toArray()                            // массив из них

[toster_root]

hzzzzl, почему то выводит только одну картинку

[hzzzzl]

короче так :)

const fs = require('fs')
const cheerio = require('cheerio')

const html = fs.readFileSync('a.html')
const $ = cheerio.load(html)

const images = $('img').toArray()   // объекты cheerio в обычный массив
const sources = images.map(img => img.attribs.src)

console.log(sources)

[hzzzzl]

выводит только одну картинку

$('img') это объект cheerio со своими свойствами и методами, предлагаю посмотреть его структуру в отладчике VS Code

наверняка $('img').attr('src') дает аттрибут для нулевого элемента массива, а надо пройтись по всем элементам и получить src -- для этого я перевожу в обычный массив javascript методом toArray(), ну и дальше уже средствами яваскрипта

ну как-то так, у меня не очень хорошо с объяснениями :D