Возможно ли использовать ИИ для сравнения текста?

Question

[Юрий]

Работаю в большой группе компаний. В результате оптимизации произошло слияние нескольких компаний в одну. Руководство поставило задачу свести номенклатуру каждой компании в одну. Проблема в том, что в каждой базе (их 6) есть огромное количество фактически одинакового товара, который ставился на приход по разному.
Например:
Компания 1: Автоматический выключатель Shneider Electric 1P 16A, Dekraft
Компания 2: Автомат Shneider Electric, однополюсный, 16А, арт. 11056DEK
Компания 3: Автомат ВА 101 1P 16А DIN-рейка 4,5kA АС DEKraft.
Необходимо разработать программу, которая будет анализировать эти данные находить одинаковый товар и присваивать им определённый маркер.
Возможно ли это реализовать? Если да, то к каким специалистам обращаться?
Сам не являюсь программистом, поэтому заранее прошу прощения, если что-то некорректно написал.

Comments

[Adamos]

Сам не являюсь программистом

Тогда не выдумывайте реализацию (ИИ), а конкретизируйте ТЗ для того, кто разбирается. Так, чтобы его можно было объяснить первокласснику - и у него не было вопросов. Тогда уж компьютеру-то это как-нибудь объяснят за вас.

[dim5x]

Согласен с GavriKos. Если 1-2 ещё можно понять что одинаковы, то про третий так не скажешь.

А разве у них, не смотря на разное наименование, не должен быть одинаковый артикул, если это один и тот же продукт? По нему и искать.

[Ziptar]

dim5x, артикул может быть и внутренний у конкретного магаза

[dim5x]

Ziptar, да, но есть же и артикул от производителя, я имею в виду его. По 11056DEK вы можете найти продукт в разных магазинах.

[shurshur]

Риск того, что алгоритм посчитает Foo BAR-123v1 и Foo BAR-123v1a одинаковыми огромен! Поэтому автоматизировать только очень аккуратно! Заодно осторожнее с описаниями. Например, пусть v1 имеет разъём USB 3.0, а v1a - USB 3.2. В описании при этом может быть написано USB3, USBv3 и др. вариации, без указания минорной версии, и это может легко обмануть алгоритм, заставив его перепутать устройства. Про человеческие ошибки там я уже не говорю...

Answer 1

[GavriKos]

В данном случае начните с себя. А конкретно - с выработки критериев одинаковости. Вот мне неочевидно чем 3 приведенных артикула одинаковы и почему их надо объединить. Соответственно вам нужно эти критерии выработать и объяснить. А там уже объяснять программисту или нейросети - без разницы.

Comments

[Юрий]

В данном случае критерии одинаковости очень сложно определить, так как ассортимент товара огромен (сеть супермаркетов товаров широкого потребления (бытовая химия, нонфуд, товары для дома, электротовары и т.д.).
Критерий одинаковости можно описать так - соответствие описания каждого товара в совокупности. Бренд+артикул производителя (если есть), точные технические характеристики. Если нейросеть однозначно определила, что позиция соответствует с вероятностью, например, 90%, она помечает её определенным маркером. Далее в каждой базе находит такие позиции, и также помечает это маркером. В примере, указанном выше, указан один и тот же товар. Сейчас мы в ручную забиваем товар в интернете. Находим по описанию первоисточник (в идеале сайт производителя). Берём оттуда данные, и вносим в базу.

[Vitsliputsli]

Если есть критерии одинаковости, то зачем тогда ИИ?

Answer 2

[Aragorn]

Думаю здесь вам лучше помогут

Answer 3

[Сергей Водаков]

Эту задачу нельзя решать алгортмом. Можно придумать какие-то критерии, сделать инструмент, для облегчения работы пользователя. Но окончательное решение о том, какие товары являются дублями должен принимать ответственный человек. Иначе у вас в базе будет каша.
Просто представьте себе последствия ложных срабатываний, когда алгоритм примет за одинаковые элементы, товары которые на самом деле разные.

Пример из жизни: Пользователи решили переименовать старый товар которого больше года нет в продаже, вроде как зачем для новых товаров плодить элементы в базе, если можно использовать уже не нужные. В результате заметили это, когда руководство в отчетах обнаружило, что у новейших товаров оказывается были неплохие продажи несколько лет назад, когда эти товары даже не производились.

Comments

[Юрий]

Понял, спасибо за информацию.
Поэтому и планируется применять маркеры вместо автоматического принятия решения. Сейчас каждый раз приходится вручную смотреть каждую базу в поисках той или иной позиции, и бесконечно возвращаться назад для перепроверки - точно ли позиция в одной базе соответствует остальным. Если будут маркеры, нужно будет просто сравнивать полученные позиции, отмечать верные. И поновой запускать программу до тех пор, пока все позиции не сформируют одну базу.
Подскажите пожалкйста, возможно ли сделать в таком формате?

[rPman]

у человека уже каша в базе, и естественно для ее очистки и требуются инструменты, попробуйте вручную миллионы записей обработать

типовой способ - пишется автоматизированный инструмент для простых случаев, база обрабатывается, под оставшиеся данные пишется новый инструмент... шаг за шагом остается небольшой процент сложных случаев, который уже можно оставить за человеком

[GavriKos]

Юрий, чел, объективно - маркеры или фактическое присваивание категории - это +- 5 минут работы программиста. Реально - вырабатывайте критерии, вам об этом написали буквально все

Answer 4

[rPman]

Юрий, так как имеющейся информации для принятия решения недостаточно (не важно автоматически или вручную), особенно если у вас ТОЛЬКО название, необходимо лезть в интернет, и вот тут то и начинаются проблемы автоматизации.

Реализовать желаемое реально, с каждым дополнительным процентом данных, которые это решение будет реализовывать автоматически, сложность будет расти экспоненциально, но с другой стороны, это решение поможет вашей компании в будущем, если вам требуется выверенный список товаров.

До появления gpt ИИ, такую задачу решать пришлось бы буквально для каждого сайта источника информации, где то загружать базу вручную, преобразовывать в вид, понятный твоей системе, а где то писать парсер или пользоваться ее поисковой системой (тупой пример - вбиваешь название в поиск по крупному каталогу или магазину, загружаешь описания, и уже на их основе что то делаешь). Теперь же программист может поиграть с промптом и используя ИИ пытаться анализировать веб сайты автоматически без разработки для каждого своего парсера, но в любом случае просто не будет.