Как скачать сайт с ассортиментом для личного каталога?

Question

[milanova48]

Всем привет! Я обычный пользователь ПК, поэтому прошу помощи у разбирающихся. Для ведения своей «коллекции» нужно скачать каталог сайта с возможностью перехода внутрь товара для просмотра характеристик. Ну и прям оч желательно с возможностью делать примечания, мол «есть в коллекции». Создавать свой каталог с нуля не легче, у меня тоже уже много позиций. Ассортимент сайта более 700 позиций, + фото внутри характеристик товара. Помогите пожалуйста чайнику)) В каком ПО или расширении будут охватываться пожелания и мои возможности разобраться с программой?) Если можете, объясните на пальцах)

Comments

[milanova48]

VasyaID, первые 3 стр гугляндекса перечисление классных расширений/ПО, но устаревших и не поддерживающихся в современных версиях браузера, не отвечающих моим требованиям и просто слишком сложны для обычного пользователя. Но спасибо, что потратил время на свой особо ценный комментарий.

[ProjectSoft]

milanova48, в командной строке запустите wget --helpУ вас уже всё есть на компьютере.
Скачать полностью сайт

wget -r -l10 -k -p -E http(s)://ваш_сайт.доменная_зона/

[shurshur]

milanova48, не существует универсального решения для этой задачи. В простейших случаях можно использовать программы, которые скачивают страницы сайта по ссылкам, начиная от главной страницы, как может сделать тот же wget из предыдущего комментария, хотя бывают и программы с графическим интерфейсом, но я не слежу за ними и не знаю современных, из двадцатилетней давности могу вспомнить только offline explorer и teleport pro.

Но современные сайты часто обвешаны javascript, в них контент формируется динамически, и просто так их скачать невозможно. В общем случае придётся писать свой собственный парсер сайта, что может быть не очень просто.

Иногда может помочь sitemap, из которого можно дёрнуть список ссылок для последующего скачивания, но он может оказаться не очень простым. Например, у этого магазина он содержит 9 файлов: https://www.regard.ru/sitemap.xml - и я не уверен что в них реально ссылки на весь ассортимент, а не просто какая-нибудь первая тысяча ссылок сайта...

Ну и если начать активно качать всё подряд с сайта, то он может забанить и перестать отдавать контент полностью, как с помощью своих собственных механизмов, так и через использование сторонних решений типа CloudFlare.

[Михаил]

Пишите мне в телегу, помогу сделать парсер

Answer 1

[Андрей Антохин]

Здравствуйте!

Обычно для таких задач либо разрабатывают кастомные парсеры под конкретный проект, либо используют уже готовые решения. Я, как SEO-специалист, регулярно использую Screaming Frog SEO Spider — в принципе, этот инструмент полностью закрывает подобные потребности. С его помощью можно спарсить практически любой контент с любого сайта (ну почти) и использовать его для своих нужд.

Кроме того, есть удобный способ через обычные Google Таблицы. Существуют специальные формулы, которые позволяют вытягивать элементы страницы (например, цены или заголовки) прямо в таблицу через копирование XPath нужного элемента и прописывания в формуле. Если вам интересно, я могу поделиться деталями в лс или в ответ — пишите, расскажу подробнее.

Также, поскольку из вашего вопроса не до конца понятно конечное решение, упомяну, что есть софт, позволяющий скачать весь сайт целиком в его исходном виде. Для Mac, например, отлично подходит SiteSucker Pro. Выбор инструмента в итоге зависит от того, что именно и в каком объеме вам нужно выгрузить.