Как скачать весь сайт из интернета целиком для просмотра оффлайн на Windows?

Question

[YX1978]

Могу сохранять по одной игре с сайта, но эффективнее было бы сохранить весь сайт целиком. Это возможно, но как? ( https://vseigru.net/ ) Весить будет в пределах допустимого. У меня уже скачаны сайты википедии в 30 гб и викихоу в 16 гб. Только с этим сайтом теперь что делать не пойму, спасибо заранее!

Comments

[DevMan]

YX1978, молодец, жди ответов.

[irishmann]

Больше тэгов богу тэгов! Причем тут хром и венда?

Answer 1

[Saboteur]

Эффективно сохранить современные сайты почти нереально.
Некоторые, можно частично, особенно если они не слишком сложные и в основном содержат статьи.

Кстати, википедия занимает несколько терабайт только текста, есть сомнения что у тебя скачана вся википедия.
Есть отдельные сайты, где можно скачать дампы википедии, читаем тут:
https://en.wikipedia.org/wiki/Wikipedia:Database_d...

Современные сайты, которые работают на JS функциях, практически нереально спарсить и скачать эффективно и целиком.

Comments

[YX1978]

мне именно это сайт нужен:)

[YX1978]

русская чисто вики скачана

[Saboteur]

Википедия - очень простой сайт, медиавики движок с минимальным JS, все ссылки просто работают.
В современных движках сайтов или кастомных сайтах, ссылок на отдельные странички может и не существовать, они формируются прямо во фронтенде, подгружают только массивы данных в виде JSON
это не html с отдельным адресом.

Answer 2

[datka]

HTTrack

Comments

[YX1978]

не работает

[datka]

YX1978, значит что-то делаете не то.
https://www.youtube.com/watch?v=7kpEo1ay6Zo

[Refguser]

datka, скорее ты не понимаешь что такое "игры" в браузере. Да, есть чисто на js, есть ещё даже флеш и их можно скачать. Но большинство - это веб-приложения и без сервера не работают.

[Adamos]

Refguser, там вагон казуальщины, которой сервер нужен, как козе баян.
Но ради быстрого запуска. скорее всего, на странице только лаунчер, который уже сам подтягивает ресурсы.
Грабилки сайтов на таком ломаются.

[YX1978]

Adamos, как решить?

[Adamos]

YX1978, забить на эту идею. Затраты на ее исполнение не покроются результатами.

[YX1978]

Adamos, через хром если в меню разработчика найти ссылку рода https://g.vseigru.net/15/igra-dva-milykh-zajchika/ можно скачать этот сайт как pwa в меню хрома и он начинает работать без инета, но я хочу скачать весь сайт

[YX1978]

создатели этого сайта сами так же выкачали массово с других сайтов

[Adamos]

YX1978, чтобы это сделать, тебе нужно:
- выкачать сайт, как он отдается по ссылке, со всеми страницами, доступными с главной
- найти лаунчеры игрушек
- разобраться, как там перечислены загружаемые по AJAX ресурсы
- распарсить лаунчеры, получив список ссылок на ресурсы
- и выкачать все по этим ссылкам тоже.
Можешь выложить эту задачу на фриланс - и тебе покажут цифру, которую ты не готов заплатить за эту фигню.
А если бы ты мог сделать это сам, бесплатно - ты бы тут таких вопросов не задавал.
Так что см. мой предыдущий комментарий.

[Refguser]

Adamos, тип игрушки не важен. Важно что "грабилки ломаются" как раз по причине необходимости серверных ресурсов при игре или иных подобных причин (того же канваса например).
А та часть что всё же может скачаться - это далеко не "весь сайт". В этом и был мой основной посыл без вдавания в тонкости технологий. И да, с остальными твоими комментами я совершено согласен.

[AUser0]

YX1978,

создатели этого сайта сами так же выкачали массово с других сайтов

Пффф, ну тогда всё элементарнее некуда! Легкотня!
Вам просто надо стать создателями этого сайту - и оппа, у вас на руках и сам сайт.
Проще простого же, да? Могли бы и сами догадаться.

Answer 3

[CityCat4]

Никак. Уже сто раз было сказано, что современные сайты - это не просто набор html и файлов со ссылками (хотя и такие есть конечно же - вот например у меня как раз такой потому что я ленивая #опа). Современный модно-стильно-молодежный сайт - это чертовски сложная конструкция, которая не скачивается "в лоб" - ей нужен "имитатор браузера".
Думаешь, чего парсеры сайтов - такие сложные конструкции? А вот именно поэтому.

Comments

[YX1978]

будто ии писал. вы на сайт заходили? там тоже ленивая №опа

[shurshur]

YX1978, легко качаются сайты, которе состоят из статических страниц с картинками, лучше без js и даже css. Тогда можно качать страницы, автоматизированно находить в них ссылки и докачивать. Это умеет стандартный инструмент wget.

Однако современные сайты - как уже говорилось - часто имеют далеко не только статичный контент. Они имеют скрипты, динамически подгружают данные, используют серверный API итд итп.

Вот на этом сайте, например, сразу видно наличие скриптов, HTML5, возможно там и API есть (не изучал глубоко). Каждая игра может содержать множество данных, различную логику, всякие ресурсы, и всё это требует изучения. Допустим, разберёмся мы в устройстве части игр и поймём, как докачать там нужные ресурсы, но вдруг некоторые игры устроены иначе?

Да и когда мы всё это сделаем, надо это как-то заставить работать, в том числе не на доменном имени основного сайта.

Это большая работа, которую нельзя сделать приложением с кнопкой "сделать хорошо". Тут сидеть и планомерно разбираться.

[shurshur]

YX1978, вот например я открыл консоль и нашёл такой скриптик:

function x656() {
    var c656 = "26408ffa703a72e8ac0117e74ad46f33";
    window.location.href = atob("aHR0cHM6Ly92c2VpZ3J1Lm5ldA==");
}
window.location.hostname !== atob("dnNlaWdydS5uZXQ=") && setTimeout(x656, 1e4);

Если этот скриптик не будет удалён в скачанных страницах, то любая страница будет автоматом редиректить на сайт игры. И весьма возможно, что это не единственная там закладка подобная.

[CityCat4]

shurshur, Скорее всего их там дохрена, таких функций :)

[CityCat4]

YX1978, ИИ знает слово "#опа" и не боится его неполиткорректно использовать? :) YandexGPT наверное, лямпортные кипятком писают, чтобы их в каком-нибудь сексизме не обвинили...

[YX1978]

CityCat4, я бы скрин приложил одного ИИ, который много интересных слов знает, но боюсь что он умудрился наоскорблядь на несколько статей...

[Ярослав]

CityCat4, не по сути вопроса, но в порядке трепа (про ленивые *опы). Это в 2000-2005 году ленивая *опа - это тот, кто от статических сайтов не перешел на динамические, которые через perl/cgi или Apache/PHP/MySQL схеме работают. А не ленивые - переходили, и у них на сайте даже guestbook работал через CGI.

Сейчас генеральная линия партии колебнулась обратно, но два раза в одну реку нельзя, поэтому река уже другая. Сейчас "моден" JAMStack - статичные сайты, которые, во-первых, раздаются из статичных файлов (то есть, раздаются быстро и сервер не бывает перегружен, даже в "черную пятницу" может быстро отдавать странички) , а во-вторых, раздаются через CDN, то есть, скорость загрузки - максимальная.

Это не просто мода, есть объективные причины: Загрузка и скорость работы сайта по такой технологии гораздо выше. Поэтому 1. Пользователи получают работающий сайт очень быстро, а пользователи любят быстрые сайты, которые их не раздражают. 2. Гугл выставляет таким сайтам высокие оценки и выше ранжирует их в SERP. (Справедливо полагая, что раз сайт делали крутые секси парни и сделали технически красиво - наверное и сайт в самом деле хорош, гораздо лучше соседнего, который школьник писал. В общем, поисковик уже по веб-технологиям, не заглядывая в бухгалтерию уже видит, где тут Кока-кола, а где Кукуевский завод безалкогольных напитков)

Ну и по функционалу, благодаря JavaScript эти статичные сайты пользуются всякими API, имеют свою логику, поэтому функционально такой сайт может все то же, что и прежние традиционные пэхапешные. Просто все что можно - отрендерено заранее и лишний раз юзер не ожидает ответа от бэкенда.

Если наш сайт, к примеру, продает авиабилеты, то главная страница будет статичной. Загрузится "моментально" с ближайшего сервера CDN. А вот запрос про билеты Москва-Владивосток на 1 Мая - будет выполняться через API. И сообщение "Сегодня через наш сайт уже продано N билетов" тоже появится по завершении запроса к API. А запрос к страничке "Контакты" - опять же статически быстро обслужится, вообще без вызовов API, так как это можно статически сделать, значит, так и надо.

Все это через статику, через всякие Hugo, Gatsby, Next.js и прочие e11ty, с использованием разных headless CMS и API.

А сайты по технологиям начала 2000 и бума CMS, при заходе на сайт PHP лезет в базу и спрашивает - а какой Title у нашей главной страницы? А в какой теме оформляем? А наша фирма по прежнему называется ООО Василек, как и последние 50 лет? И только после туевой хучи всех этих запросов формируется HTMLка и отправляется юзеру. В добавление к этому, традиционно у сайта есть полный доступ к базе (dbname, dbhost, dbuser, dbpass) поэтому уязвимость в коде плагина, который добавляет на сайт танцующих веселых поросяток приводит к тому, что всю базу могут поиметь.

Так что ленивые *опы сегодня - это те, кто в 2000 выучили php/mysql или что-то подобное, и леняться что-то новое учить. Делают так, как научились тогда-то. Ну или продают клиентам вебсайты на технологиях четвертьвековой давности. Четверть века, это как если бы в 2000 кто-то пытался делать проекты на технологиях 1975.

[CityCat4]

Ярослав, Ярославище, ты не представляешь себе, насколько я ленивая #опа :) Я даже CMS поленился поставить! У меня "сайт" - десяток plain html страниц, где немножко php кода. Поскольку мне ровно пофигу, как он выглядит и сколько у него посетителей :)

[Ярослав]

CityCat4, Ну вот, все прогрессивное человечество сделало круг и ты оказался в авангарде! :-)

[CityCat4]

:))))

Answer 4

[MikeHail]

Wget'ом же, там можно указать глубину прохода по ссылкам. Но если навигация на сайте идёт по js то ничего не поможет.