Как реализовать парсинг цен с сайтов для определенных продуктов?

Question

[kapai69]

Как реализовать парсинг цен с сайтов для определенных продуктов, первое что приходит в голову это писать регулярки для каждого магазина, но это как то не красиво, использовать библиотеки для парсинга, или есть более элегантный способ?

Answer 1

[Дмитрий]

Вариант для PHP. Занимался парсингом цен, сначала парсил регулярками. Потом нашёл способ поэлегантнее. На мой взгляд самый лучший способ - XPath. Грузим страницу curl'ом  или file_get_contents, добавляем перед ней <?xml encoding="UTF-8">, загружаем всё это в DOM объект, потом спокойно парсим с помощью запросов=)

Comments

[Кайрат Убукулов]

Каким образом грузим необходимую страницу? Указать ручную не вариант. Чтобы автоматические нашел страницу товара и парсил цены. Товаров может быть много. И еще нужно парсить из нескольких магазинов.

Answer 2

[zvorygin]

Я в свое время использовал jsoup.org - парсер на яве, можно выдирать данные по css-селекторам - очень удобно оказалось.

Answer 3

[Иван]

Можно подумать над аналогичным вариантом, как сделано в гугл вебмастере - маркер.
То есть загружается страницы в специальный веб-интерфейс, администратор указывает, какая часть данных на страницы - что означает. Потом система автоматически подтягивает несколько других страниц-аналогичных-шаблонов для уточнение информации. Это позволит достаточно быстро устанавливать парсинг для любого интернет-магазина. Правда это не легко, возможно нужно использовать нейронные сети. Или поискать открытые аналоги.

Answer 4

[ZloiZmei]

Можно парсить Яндекс.Маркет, если магазины там представлены.

Comments

[kapai69]

Не, ЯМ не подойдет, ниша слишком специфическая

[copenhagen72]

Как, прямо сам сайт я.м?