Как идентифицировать один и тот же товар в разных интернет-магазинах?

Question

[Павел]

Есть следующая задача. Необходимо сформировать каталог товаров с ссылками на позиции этих товаров в интернет-магазинах. По примеру price.ua, ava.ua, hotline.ua и прочих сервисов.

Я рассматривал следующие варианты:

1. Выгружаем данные эталонного каталога, допустим, Yandex.Market. Затем проходимся по товарам в каждом интернет-магазине и пытаемся по заголовкам определить схожесть с товарами в эталоне, подчищая названия от маркетинговой и SEO-шелухи.
   
2. Проходимся по всем интернет-магазинам по очереди. Берём первый. Извлекаем все товары и пытаемся очистить заголовки. Берём второй. Пытаемся сопоставить товары с товарами предыдущего магазина. Если совпадения нет, то добавляем новый.
   

Всё это колдовство с названиями мне очень не нравится. Допустим в YM есть такой ноут и вот он же в Розетке. Избавиться от слов "Ноутбук" и "Суперцена!" не проблема. Это у них шаблонные заголовки. А вот то, что название модели рознится - это уже серьёзней ("E1-571G-33114G75Ma" vs "E1-571G-33114G75MAKS").

Есть ли какие-то более точные варианты идентификации товаров? Чтобы не нужно было шаманить с угадыванием по названию.

Answer 1

[Андрей Безпалов]

Сочетание производитель + артикул. В приведенном примере это: Acer + NX.M7CEU.036.

Comments

[Павел]

К сожалению артикул предоставляют не все. Более того, некоторые товары его вообще не имеют. Допустим по тому ноутбуку YM артикул не показывает :).

[Андрей Безпалов]

TheSteelRat: Яндекс не показывает, но оно есть у них - легко проверить через поиск по артикулу: market.yandex.ua/model.xml?modelid=10596561&hid=91...

Answer 2

[Сергей Наломенко]

«Яндекс.Маркет», прайс.юа и прочие аггрегаторы товаров попросту предоставляют владельцам интернет-магазинов возможность в специальном XML-формате выгружать данные о своих товарах, где есть поля с кодом модели того или продукта.

В Яндексе это YML. У других — поищите в специальных разделах для разработчиков на каждом из сайтов.

Comments

[Павел]

А вот это уже интересно. Получается, что магазины сами предоставляют данные в более-менее удобном формате агрегаторам. И уже на основе этого агрегатор пытается как-то идентифицировать товар (barcode и vendorCode не являются обязательными).

Я правильно вас понимаю?
Я так понимаю, что простым смертным магазины эти прайсы не предоставят? Придётся их завлечь.

[Сергей Наломенко]

Примерно так :) Просто писать свой парсер на каждый интернет-магазин Вы немного задолбаетесь.

А по поводу того, что магазины предоставляют свои прайсы — да, кроме того еще и деньги платят за каждый переход по ссылке из каталога аггрегатора на свой интернет-магазин (по крайней мере, price.ua и hotline).

[Павел]

Сергей Наломенко: ну судя по тому, что Розетки нет ни на price.ua, ни на YM можно предположить, что им не удалось договориться с этим интернет-магазином.

[Павел]

Сергей Наломенко: видимо без парсинга всё равно не обойтись, если интернет-магазин не хочет с нами сотрудничать...

[Сергей Наломенко]

Если интернет-магазин не захочет с Вами сотрудничать (что врядли, потому как лишняя ссылка никому еще не помешала), то он будет также против того, чтобы Вы на него ссылались, и не важно каким образом Вы получили данные — парсингом, в XML или друг Вася рассказал и сбросил ссылку.

Начинайте раскрутку своего ресурса, как бесплатной рекламной площадки, а уже через пол года/год, когда набьётся хорошая база данных, ищите схемы монетизации проекта.

[Viktor Vsk]

Сергей Наломенко: агрегаторы получают от клиентов точно такую же инфомрацию, как и вы сами при парсинге. Каким образом они составляют товары - по сути, это и есть их собственное бизнес-преимущество.

Answer 3

[Viktor Vsk]

E1571G33114G75MA
E1571G33114G75MAKS

Знаки пунктуации и другие "стоп слова" (1366x768 LED LAPTOP...) нужно хардкодить и удалять сразу же. Регистр, в принципе, тоже сути не имеет.С удалением пробелов, возможно, надо поэксперементировать.
Когда на стадии "очитски" достгли эксперементально приемлемого оптимума, идете и сверяете метрику. И определяете диапазон, при котором считаете, что слова действительно идентичны. Опять же, эксперементально.