Парсинг скаченных сайтов?

Question

[Cavez]

Всем добрый вечер! У нас есть определенное количество сохраненных сайтов, в виде папок со всеми ресурсами: js чанки react, изображения, html файлы и тд. Нужно как-то их сначала открыть и вытащить нужные данные. Если со вторым более-менее понятно, то насчет первого у меня серьезные вопросы.
Как можно вытащить из такого формата данных полезную информацию? Была идея для каждой папки с сайтом запускать через сервер этот сайт, и уже через какой-нибудь JSOUP оттуда доставать что нужно

Comments

[spaceatmoon]

Скормить файл парсеру не?

[Cavez]

spaceatmoon, я же сказала, данные динамические, стоит js фреймворк

[Everything_is_not_so_bad]

Cavez,

вытащить нужные данные

а что вообще нужно извлечь из всей той груды папок?
И причем здесь тег Go?

Answer 1

[Дмитрий Свиридов]

Для решения этой задачи вам потребуется запускать go-сервер для каждого сайта. Нужно сделать так, чтобы можно было открыть index.html в браузере и подключить JS-файлы, после чего нужно подключаться к нему с помощью Selenium (чтобы выполнялся JS) и доставать оттуда данные. Скорее всего, пригодится вот эта библиотека. Возможно, кстати, сервить файлы и не потребуется, и можно их как-то сразу в Selenium подсунуть - там надо уже по факту смотреть.