Как разработать систему идентификации одного и того же автомобиля на различных сайтах объявлений?

Question

[Valeriu Vodnicear]

У нас задача, в рамках которой необходимо определить, когда один и тот же автомобиль выставлен на продажу на различных платформах объявлений, таких как Mobile.de, AutoScout24, или другие сайты с объявлениями. Основная сложность заключается в том, что VIN номер в объявлениях обычно не указывается, что делает прямое сравнение данных объявлений затруднительным.

Первоначально я рассматривал подход с использованием хешей изображений для сопоставления объявлений, но это может привести к ошибкам в случае, если изображения не являются уникальными или были взяты из общедоступных источников.

Вот несколько подходов, которые я рассматриваю:

1. Анализ метаданных и текстовых данных объявлений.
   
2. Использование алгоритмов компьютерного зрения для анализа изображений.
   
3. Разработка или применение нейронных сетей для сопоставления объединенных данных (текст, изображения, метаданные).
   

Мне интересно узнать ваше мнение о возможных решениях этой задачи или опыт работы с подобными проблемами. Какие подходы или технологии вы бы рекомендовали для реализации этой системы? Есть ли специфические инструменты или библиотеки, которые могли бы помочь в решении этой задачи?

Благодарю за любые советы или предложения!

Comments

[U235U235]

В общем случае задача не решаема.

[shurshur]

В общем случае никак. Например, возьмём фотографии. Если грузятся одни и те же, то это можно увидеть, но! Никто не гарантирует, что эти фотографии и правда будут относиться к одной и той же реальной машине, а не просто приделаны к чужому объявлению. Также нет гарантий, что для объявления на другом сайте владелец не сделает новых фотографий.

По внешнему виду машины что-либо определить малореально. Красные Ferrari одной модели одного года выпуска выглядят удивительно одинаково.

Можно попробовать сверять косвенные признаки. Например, имя продавца, город, дату размещения объявления итд. Вероятно, можно с некоторой не очень плохой вероятностью определить некоторые точно разные объявления и некоторые вероятно одинаковые.

Я бы советовал сначала забыть про нейросети и попробовать проработать на каких-то реально известных примерах точно одинаковых и точно разных объявленияъх какую-нить конструкцию с весовыми оценками. Возможно, сразу окажется, что оно может неплохо работать и при этом быстро и дёшево. Или наоборот, одни ложные срабатывания...

Answer 1

[Dev-op]

Напишите фильтрацию по ключевым атрибутам и сужайте количество потенциальных совпадений. Это не 100% но вполне реально.
Берём основные параметры - марка, модель, год выпуска, пробег, цвет, тип кузова, и начинаем фильтровать и постепенно сужаем круг. Тестируем - это займет всего немного времени, но Вы успеете задуматься о том, что пора бы прикупить краску для волос.