Как реализовать парсер товаров из интернет магазина средствами PHP?

Question

[Аброр Джейки]

Здравствуйте всем.
Есть интернет магазин Fashiondays.bg.
Как можно реализовать парсер контента с этого ресурса, чтобы парсер после парсинга записывал все данные в БД (mysql) и время от времени проверял, происходили ли какие то изменения на сайте Fashiondays.bg. Т.е. если совершались покупки на сайте доноре, и у них нет в наличии какого-либо товара (т.е. есть разница с новыми данными и тем что у нас в БД), обновлял именно те данные, которые различаются.
Я в принципе понимаю суть всего этого, но всё таки решил спросить как всё это реализовать?
Заранее спасибо!

Answer 1

[Mandor]

1. Скачиваем главную страницу (или другую стартовую, если нужная информация находится не на главной).
2. Парсим регулярками нужую нам информацию. Можно парсить не регулярками, а загрузить страницу в какой-нибудь html-парсер и получать от него данные в виде тегов.
3. Информацию полученную регулярками кладем в базу.
4. Парсим либо регулярками либо через внешнюю библиотеку html-парсера ссылки на другие страницы.
5. Если ссылки нам подходят (не ведут на внешний сайт и другие бесполезные для нас страницы) - переходим по ним рекурсивно. Далее повторяем цикл с начала (только парсим не главную, а ту на которую перешли).

Для обновления инфы на своем сайте запоминайте исходные id данных (ну или что-нибудь другое вместо id), и если такие записи в вашей БД уже есть - обновляйте их.

Comments

[Аброр Джейки]

@Mandor, а если там нужно регистрироваться? То, тогда как быть?Что именно нужно сделать?

Answer 2

[Константин Кияшко]

Я активно использовал Zend_Dom_Query (работает без самого ZendFW, несколько файлов от фреймворка нужно подключить будет к проекту). Просто, понятно и быстро
http://framework.zend.com/manual/1.12/ru/zend.dom.query.html

Вот структура нужных файлов/папок от Zend


и пример кода (кусок парсера хорошей погоды)

/**
     * Получение погодных "значений"
     * @return array
     */
    protected function parse_weather_page(){

        $page = $this->get_page_with_weather();

        $weather = array();
        $zDom = new Zend_Dom_Query($page);
        $elements = $zDom->query($this->weather_css);
        foreach($elements as $dom_element){
            $weather[] = $dom_element->getAttribute('title');
        }

        return $weather;
    }

Answer 3

[Eugene Mosyukov]

А fashiondays.bg в курсе, что вы у них информацию «заимствуете»? У них там какое-то приложение для iPhone есть, а значит есть какое-то api... Если вы их партнер не проще ли воспользоваться этим api?

Comments

[Аброр Джейки]

Администрация не в курсе. Ну Я понимаю "АВТОРСКИЕ ПРАВА" и т.д. но мне всего лишь нужно сделать подобие этого сайта с ихними данными!

[konfetolog]

А зачем, если не секрет?

[Алексей Сундуков]

@ayyjay каталог товаров под понятие авторского права не подпадает.

[Аброр Джейки]

@konfetolog надо сделать точно такой же каталог! Который так же меняется как у них на сайте!

[Аброр Джейки]

@alekciy Спасибо.

[trueClearThinker]

Каталог, конечно, тоже подпадает. Это как дизайн позаимствовать. Другое дело, что доказать это непросто.

[trueClearThinker]

Ну и каталог - понятие расплывчатое, за фото и описания вам точно попадет. За структуру докапываться не будут.

[Аброр Джейки]

@trueClearThinker Спасибо за информацию. А что делать, если мы хотим продавать, точно такие ж товары, только уже в другом городе? Не в Болгарии!?

[konfetolog]

Если вы будете реселлить их каталог, то наверно в договоре должны быть оговорены условия использования контента.
А если нет, то не понятно, откуда будете брать точно такой же ассортимент. Напрямую у поставщиков?
В любом случае, понадобится согласие того, кому права принадлежат на контент.
Ну или до поры до времени, пока не предъявят. Правда тогда поздно может быть, вылететь из индекса просто, а вернуться не очень.

[Rampages]

Тут техническую сторону желают услышать, а законно это или нет думаю является оффтопиком.

да и @GeneMoss имел ввиду что у них вполне может быть API, а не то что автор топика мб подпадает под законы об авторском праве.

[Алексей Горбунов]

Евгений, если информация в открытом доступе, могут схлопотать иск за то что попытаются воспрепятствовать коммерциализации их открытых данных:))

https://habr.com/ru/company/globalsign/blog/466911/

Не стоит злостно вмешиваться в контракт ( tortious interference with contract ) и мешать благому делу скрапинга сайтов =)

Answer 4

[Rafael Hovhannisyan]

А можно я возьмусь за написание этого скрипта ?

Comments

[Rafael Hovhannisyan]

rafaelhov.tk

[Аброр Джейки]

@psrafo Я б не прочь, ток бюджета, как такого и нету(((

[Rafael Hovhannisyan]

А я не за деньги, просто так можно ?

[Аброр Джейки]

Так даже, Я буду очень благодарен.@psrafo вот моя почта: [e-mail]/ напишите, поподробней объясню всю ситуацию...

Answer 5

[Rafael Hovhannisyan]

http://simplehtmldom.sourceforge.net/ - подключить один файл и начинаешь парсить как jQuery.
премьер: $html->find("div.item");

Comments

[Константин Кияшко]

Я пробовал полтора года назад. На PHP 5.3 библиотека очень бажная, плюс очень медленная. И требования хороши - PHP 5+, очень актуально в 2013 году.
Все файлы в загружаемом архиве датированы 2010 годом, сама библиотека - 2012, но это та же версия 1.5, что и была пару лет назад.
На Хабре проскакивало сравнение парсеров на PHP, Simple HTML Dom - жесткий аутсайдер.

[Rafael Hovhannisyan]

Да он медленный, ну ооооооочень медленный, no функционал у него вполне достаточно для любых нужд, в таком случае http://php.net/manual/ru/class.domdocument.php

[Rafael Hovhannisyan]

он быстрый, использует libxml

[Константин Кияшко]

Хороший спор :)
DOMDocument был бы очень быстрым, просто как ветер, если бы не одна операция:
$doc = new DOMDocument();
$doc->loadHTML($html);
Во-первых, вот такая запись вывалит кучу нотайсов.
Только давить ошибки
@$doc->loadHTML($html);
и из-за вот этой операции (предполагаю, что из-за попытки разобрать невалидный с точки зрения XML HTML) время общего парсинга возрастает до 20 раз.
Все же DOMDocument имхо заточен на работу с XML, а тут ему суют вместо валидного XML неизвестно что в виде страницы.
Но несмотря на это, DOMDocument - самый быстрый, но не дает возможности использовать напрямую CSS-селекторы и пр.
Гораздо удобнее Zend_Dom_Query - он как jQuery парсит, с тем же синтаксисом.

[Rafael Hovhannisyan]

Про валидацию не буду спорить, Zend_Dom_Query тоже не спорю, но у меня не было каких либо проблем с DOMDocument и simplehtmldom. Они меня выручали всегда, а когда нужно скорость, то конечно же руки + regex.

[Rafael Hovhannisyan]

Как и все н нашей непростой области, зависит от проблемы.

Answer 6

[KEKSOV]

Здесь подробно обсуждался парсинг. Как сохранить в БД это другой, но тоже решаемый вопрос, многое зависит от вашей конкретно задачи.

Answer 7

[hav0k]

Используйте Xpath. Не надо пользоваться регулярками. Код становиться более простой, и проблем будет меньше. Если код не валидный, пропускаем забыл через какую программу, т.к. не когда не было проблем с валидностью html.

Нокогири: парсинг HTML в одну строку

Answer 8

[Аброр Джейки]

@psrafo, так то Я пробовал эту библиотеку, выдаёт ошибку!

Answer 9

[Alexz29]

Как быстро написать парсер товаров.

Для получения описания и картинки вы можете воспользоваться бесплатной версией API:
PHP code:

<?php
        //поисковая фраза
        $string='Процессор i5 Haswell';

        //отправка get запроса на сервер
        $json=file_get_contents('http://4rgo.ru/search/index/?q='.$string);

        //переписываем json в массив
        $result=json_decode($json,true);

        //печатаем
        print_r($result);
        ?>

format-переменная указывает на формат возвращаемых данных. Она может быть :JSON,XML
q-Поисковая фраза

Пример запроса:

http://4rgo.ru/search/index/?q=i5 Haswell&format=json

Ответ в JSON:

{
            id: "3560",
            name: "Intel Core i5 Haswell",
            bref_description: "|Socket LGA1150
                     |Частота процессора 2300-3400 МГц
                     |Объем кэша L2 512-1024 Кб
                     |Объем кэша L3 4096-6144 К
                     |Поддержка SSE2
                     |Поддержка SSE3
                     |Встроенный контроллер памяти ",
            name_category:  "Процессоры (CPU)",
            name_manufacturer:  "Intel",
            img: "http://wallet.4rgo.ru/img/7ff7a9f75bd64c34d42cef0f9d89d044.jpg"
        }

Answer 10

[Александр Поляков]

Есть инструмент Product API для парсинга товаров в любых интернет-магазинах и любой валюте. Пишите простой скрипт, который сохраняет данные, полученные от API в любую базу. Потом проверяете указанный список с необходимой периодичностью.

Comments

[Станислав]

На данный момент попробовал у них протестировать ссылку на Маркет - не работает, вообще.