Реально ли спарсить товары с одного магазина на вебархиве и форматировать данные в виде sql чтобы затем засунуть это на другой магазин на woocommerce?

Question

[NilanMayers]

Привет всем. Cобственно, суть вопроса в заголовке. Мне тут нужно будет перенести очень много товаров из вебархива на новый сайт, слишком много, и я решил упростить себе жизнь. Собираюсь использовать библиотеки РНР для парсинга. Какой шанс что сработает? И какую библиотеку посоветуете? И был бы благодарен если бы мне накидали советов как это всё сделать быстро и правильно) По времени есть неделя, но хотелось бы управиться побыстрее.

Comments

[Exploding]

Что за вебархив такой?

[NilanMayers]

Exploding, https://web.archive.org

[Exploding]

NilanMayers, к черту подробности!)) Где сами товары?

[NilanMayers]

Exploding, https://web.archive.org/web/20161202145907/http://...

:D

[SharuPoNemnogu]

curl domdocument domxpath и айда пошел, спарсил записал в базу, потом перетащил в новую базу, или сразу напрямую писать в нужные поля

Answer 1

[VVB]

Делал подобную задачу для нескольких магазинов потерявших все данные.
1) Сгружаем данные в виде HTML страниц из разных источников. WebArchive я покупал тут www.webarchivedownloader.com . Есть альтернативы на торентах, есть онлайн решения.
2) Сгружаем Google И Yandex Cache. (Если сайт недавно пропал и поисковики еще не успели выкинуть сайт из индекса)
3) Локально разворачиваем сайт на базе полученных HTML страниц (XAMP, Denver etc)
4) Парсим локальные сайты с теми настройками и параметрами, которые вам необходимы. Я пользовал Screaming Frog.
Парсил все Title, Meta Description, Breadcrumbs, H1, URL, Images, Description, Content, Price и тд
5) Данные после парсинга можно сохранить как CSV и обработать вручную в Excel (почистить ненужные теги, убрать переспамы от предыдущих сеошников в татйлах и тд)
6) Импортировать CSV в WP WooCommerce.
Как то так.

Answer 2

[x67]

Вы квантовой физикой занимаетесь или парсингом? Откуда шансы? Все должно быть детерминировано. Если знаете как это сделать - сработает. Не знаете - не сработает.
И учитесь правильно ставить задачи, хотя бы для себя. Детали не должны быть лишними.
Попробую сделать это за вас:

1. Есть два магазина. Один в вебархиве старом (но это не точно), другой на вукомерсе моднявом.
   
2. С первого нужно снять все товары, сохранив их структуру и свойства.
   
3. Товары сохранить на sql сервере
   
4. Прикрутить полученную базу к новому магазину
   

Теперь пройдитесь по пунктам
1. Веб архив содержит все необходимые страницы? Наверняка нет. Вся ли информация актуальна? Наверняка нет. Значит полностью собрать информацию не получится. Но все что есть на веб архиве, доступно и нам.
2. Вы можете открыть страницу и понять по информации с сайта, к какой группе товаров относится данный? А какие характеристики? Цена? Другие параметры? Все, что вы нашли на сайте будет возможно спарсить. Ответ - да
3. Да
4. Да

Теперь самый важный вопрос: А вы кодить умеете? Уже парсили или только слышали об этом? на SQL запросы пишете? Если нет, то у вас уйдет или много времени или деньги. Что тратить - решайте сами. Если бы ответ был "да", наверное вопроса и не было бы. Библиотеки тут не принципиальны, вам все равно придется это учить.

Comments

[NilanMayers]

Небольшой парсер писать доводилось) SQL не сказал бы что хорошо, но знаю, в крайнем случае есть гугл. И я имел в виду что планировал записать не на сервер а в текстовый документ в виде кода sql, затем просто поменять расширение и импортировать это в бд нового сайта. Рабочий вариант?

[x67]

NilanMayers, что вы в виде кода sql хотите писать?

[NilanMayers]

x67, Уже ничего, csv вариант получше)