Как сопоставлять товары при парсинге?

Question

[Konyuh]

Задача: нужно парсить 40+ сайтов с товарами (интернет-магазины, под каждый магазин - свой парсер) и на выходе получить общую Mysql-таблицу вида товар+цены на каждом сайте. При этом, на разных сайтах у одного и того же товара разные названия и нет артикулов, или артикулы разные. Вопрос: как организовать правильное сопоставление товаров в выходной таблице? Чтобы парсеры как-то видели конкретный товар и заносили о нем инфу (цену) в соответствующую строку таблицы?

Comments

[rPman]

Если бы эта задача имела решение... мир был бы другим.

Это задача сведение справочников, и ее каждый раз решают заново все кому не лень.
Если решишь задачу - продавай результат, озолотишься.

Беда в том что продавцы не желают заморачиваться, китайцы создают еще больше проблем, называя свои товары максимально странно, а еще часто отсутствует необходимая информация для принятия решения.

Когда то такие монстры как market yandex решали эту проблему, формально перекладывая задачу на магазины но создав красивый каталог, но поняли что заработать по честному так не получится и появилось то что мы видим сейчас - максимально сломанный поиск, помойка в справочниках и т.п.

Answer 1

[Михаил Р.]

0. Тренируем нейронку распознавать товары, материалы по Вашей теме:
0.1. https://habr.com/ru/companies/stm_labs/articles/708608/
0.2. https://new-retail.ru/business/e_commerce/price_ru...
0.3. Сравнение текстовых описаний через методы обработки естественного языка (NLP), такие как TF-IDF, word2vec, BERT для извлечения смысла и семантического сравнения текстов (Spacy, Hugging Face Transformers и другие библиотеки NLP для анализа текста).
0.4. Анализ изображений товаров с помощью сверточных нейронных сетей (CNN), которые могут выявлять визуальные сходства между изображениями товаров, даже если они отличаются углом съемки, освещением или масштабом (OpenCV и TensorFlow).
0.5. Графовые базы данных и алгоритмы, которые могут использоваться для идентификации связей между товарами на основе их атрибутов и отношений.
1. Нейронка из п0. распознает товары.
2. Человек в случайном порядке проверяет работу нейронки из п1. и при необходимости, сообщает ей её ошибки. Таким образом происходит дообучение нейронки уже в процессе работы.

Либо, использовать поисковые движки (с его возможностями полнотекстового поиска и сопоставления), по типу Elasticsearch или OpenSearch (получая наибольшую вероятность сопоставления).

Comments

[Konyuh]

Спасибо за ответ. А нейросеть придется свою разрабатывать или бывают уже готовые решения?

[Михаил Р.]

Konyuh, дополнил ответ.

А нейросеть придется свою разрабатывать или бывают уже готовые решения?

Готовые есть, но Вам в любом случае придется дообучать их, для конкретно своей задачи. Чем больше точность сопоставления, тем больше дообучения, причем на последних десятках процентах, сложность обучения растет в геометрической прогрессии.

[rPman]

Михаил Р., а можно ссылку на готовые нейросети для ру сегмента?

[Михаил Р.]

rPman,

готовые нейросети для ру сегмента

Не встречал таких. Только для английского:
- https://www.kaggle.com/datasets/paramaggarwal/fash...
- https://www.kaggle.com/datasets/vikashrajluhaniwal...
- https://paperswithcode.com/dataset/rp2k
- https://github.com/marcusklasson/GroceryStoreDataset
итп.

[rPman]

Михаил Р., неа, все приведенные ссылки это IMAGEs dataset
а речь идет о текстовой информации, которую собирают парсеры