Как спарсить Интернет Магазин?

Question

[ant123455432143]

Нужно собрать характеристики по огромному списку моделей товаров .
Проблема: обычный PHP через
file_get_contents('https://www.dns-shop.ru')
или cURL отдает 401. Как я понял, там стоит защита Qrator.
Как вариант было предложено использование Python + Selenium.
То есть вводить каждую модель в строку поиска через headless-браузер -> переходить в карточку -> кликать "Развернуть характеристики" -> забирать HTML.
Но как я понимаю, огромное количество моделей товаров так не прогонишь? Может есть вариант получше? Или это единственный?

Comments

[Everything_is_bad]

Ты даже не попытался, а сюда надо приходить уже с конкретной проблемой.

[ant123455432143]

Everything_is_bad, попытался и улетаю в бан из-за Qrator, но я не особо в курсе, что это, если честно, мне подсказала ИИ. Он же подсказал использовать Selenium, но проблема в том, что по факту меня то просили парсить хоть не все товары, но большое количество.
Я посмотрел как это работает и у меня возникли сомнения, что таким образом можно спарсить большое количество товаров.
Поэтому прошу советов

[Everything_is_bad]

ant123455432143, ну вот это и надо писать в самом вопросе, как именно парсил, какая именно проблема возникла.

Answer 1

[rPman]

Не улететь в бан ... универсально не получится, это вопрос даже не технологии. Крупная площадка имеет возможность финансово поддерживать борьбу с парсерами.

Могу предложить решение - напиши расширение для браузера, без обмана, работающее с целевым интернет магазином, удобное с полезным для пользователя функционалом, вложись в маркетинг,.. и собирай информацию с помощью этого расширения. Это способ имеет шанс работать универсально, так как большое количество пользователей размажет по интернету собственно процесс парсинга и его сложнее будет детектировать владельцу магазина (зависит от того как будет работать это расширение и на сколько оперативно будет правиться его код при изменениях на сайте).

Все остальные способы скорее всего будут задетектированы и заблокированы.

Answer 2

[VoidVolker]

реально ли вообще пробить эту защиту на чистом PHP

Если на сайте используется SSR и нужные вам данные сразу отдаются на странице — то да, вполне можно всё спарсить. В ином случае придётся использовать браузерный движок — для селениума есть обёртки для разных ЯП, нет строгих ограничения только для питона. Методика обхода защиты строится от самой защиты — она исследуется и пишется соответствующая логика.

Answer 3

[Maксим Волков]

Конечно можно использовать PHP для парсинга контента. Есть много тразных библиотек для парсинга на PHP: DiDom, Guzzle и другие.
Selenium - необходим для парсинга SPA сайтов - контент которых формирутся JS на строне клиента. Для обычных сайтов он не нужен. Есть другие варианты - замены Selenium. К примеру, WBApp2 - сохранить по ссылкам страницы в НТМL - файлы локально, и уже по ним парсить контент.
Но по моему мнению парсинг на Python удобней и проще. Огромное количество популярных, хорошо документированных билиотек для парсинга: BeautifulSoup, fake_useragent и другие.
При понимании процесса, накидать простой скрипт для парсинга на Python, не займет много времени.

Answer 4

[Иван Волков]

PHP и обычный:

$dom = new DOMDocument();
$page = file_get_contents('http://...'); // your URL here
// $page = gzdecode($page); // иногда нужно и так после обычного file_get_contents
$dom->loadHTML($page, LIBXML_NOERROR);
$xpath = new DOMXPath($dom);
$id = 'xXx'; // your ID/CSS Class here
$content = $xpath->query('//div[@id="'.$id.'"]')->item(0);
$anchors = $xpath->query(".//a", $content); // get all links

и погнал там фигачить с этим $xpath как твоей душе угодно дальше, короче! ;)

сколько парсеров не переписал в своей жизни, только Даааавным Давно сторонний simple_html_dom.php подрубал!) тогда ещё и PHP 4 был вроде и я маленький был и встроенного в PHP 4 "из коробки" - ничего полезного не было... так что - норм он тогда помогал! и даже с CSS селекторами - Хорошо работал!

а потом уже - на "Чистом" PHP все парсеры у меня были! ;)
Удачи!

p.s. "до кучи" - в PHP есть ещё и sleep(), но на практике, я его НИ РАЗУ не юзал... но вдруг там какой сервак на частые запросы настроен и обрубать твой Парсер злобный будет, просто Знай что он есть ;)

Comments

[ant123455432143]

Спасибо за ответ, но вот на этом этапе
file_get_contents('https://www.dns-shop.ru')
уже проблема