Как в ходе распознавание номеров, записывать данные в БД, при этом исключить дубли?

Question

[MRXWOLF]

работает скрипт который распознает номер авто и пишет в бд
Но чтобы не допускать дублей, я постоянно дёргаю БД
Это соответственно грузит её
Как можно реализовать запись авто, таким образом чтобы я знал сколько оно стоит на сервисе, но чтобы не было дублей в бд
Проблема в основном в том что нейронка ошибается,.так как если механик станет напротив номера она напишет дубль этого автомобиля. Как исключить такие ситуации с логической точки зрения?

Comments

[Everything_is_bad]

Это соответственно грузит её

любой запрос грузит базу, эта твоя нагрузка вызывает какие-то проблемы?

[MRXWOLF]

Everything_is_bad, Тут больше дело не в нагрузке а в исключении дублей авто

[Everything_is_bad]

MRXWOLF,

исключении дублей авто

про UNIQUE ты в курсе? А если тебе нейронка выдала вообще левый номер, то как тебе тут поможет база данных? Ну если только не пытаться искать похожие по какому-то критерию номера.

[Akina]

если механик станет напротив номера она напишет дубль этого автомобиля. Как исключить такие ситуации с логической точки зрения?

Такие ситуации надо исключать с организационной или административной точки зрения.

Хотя я так и не понял, что такое сотворил механик...

[Сергей Соколов]

Если не секрет, чем распознаете номера, и насколько качественно получается?

Answer 1

[mayton2019]

Автор ты прикалываешся? Задача дедубликации сведений в БД - решена еще в XX веке через unique
index на поле. Или любой программист тебе на коленке сделает хештабличку или дерево для этого на любом
языке.

А задача машинного зрения это в миллион раз более сложная по сути задача. И ты умудрился в вопрсе через
запятую это писать? Это все равно что ты бы спросил как изобрести колесо чтоб атомный реактор
ехал.

Answer 2

[ThunderCat]

Проблема в основном в том что нейронка ошибается,.так как если механик станет напротив номера она напишет дубль этого автомобиля.

Я так понимаю проблема в том что проходящий механик заставляет нейронку еще раз считывать номер машины и заново считать интервал простоя авто в боксе?

Если да, то:
(поля и таблицы приведены для примера, естественно в реале они у вас будут немного другие)
1) Номера должны лежать в отдельной табличке, идентифицирующей авто (cars например). Поля - id | number | comments. Номер должен быть с индексом unique.
2) Интервалы пишутся в другую табличку - intervals, где есть id | car_id | start_time | end_time
3) При заезде на сервис номер распознается и запрашивается из базы, если не находится - создаем новый, запоминаем id. Записываем в intervals.start_time текущее время, в intervals.car_id запомненный id машины или id выбранный из базы машин. Пишем end_time по таймеру, последняя запись будет временем окончания стоянки.

В такой конфигурации то что механик прервал на минуту простой авто на общее количество времени не повлияет, и дублей, естественно, не будет. Просто для отчета нужно будет выбирать все интервалы за день для машин(ы). Агрегировать их или выводить списком особо разницы нет, тут как интерфейс устроен.

PS: Оказывается проблема в "дублях", которые артефакты распознавания. Ну и реальная проблема в том что интервал на 1 машину только один, и даже небольшой перерыв в записи тупо стирает старые данные. Решается банальной нормализацией, выносом интервалов в отдельную сущность и связи по ключам машина-интервал.

Comments

[MRXWOLF]

У меня сейчас это так
Есть таблица main_car
В ней - id, status(new, и т.п) plate, date_s время записи камеры первое и date_e (обновляет в реал тайм) и так далее
Я в коде распознают номер, проверяю его наличие в бд по номеру и статусу( так как авто может заехать несколько раз за месяц, оно смотрит если есть этот номер в статусе completed мы пишем новое)
Если есть обновляю date_e
Если нет
Пишу plate, date_s date_e и потом обновляю
Но беда в том что если у меня есть номер AA1234AC
Он хорошо работает
А если словит AA1234AO
Это будет считаться новым

[MRXWOLF]

MRXWOLF, механик может закрыть букву О и нейронка считает как С
И это уже будет дубль той же машины

[ThunderCat]

MRXWOLF,

И это уже будет дубль той же машины

Это самое тупое заявление из всего вышенаписанного, так как для системы никакого дубля нет, есть 2 машины AA1234AC и AA1234AO. Проблема не в хранении или дублировании, проблема в шумах распознавания (что и надо было объяснить).

Даже в таком случае, у вас получается что на время пока нейронка с кадров распознает кривой номер, у вас в системе "проскакивает" машина с другим номером, и теряется сколько-то минут/секунд.
В таком случае:
1) Забить если это не критично,
2) Искать интервалы менее адекватного (минута, две) времени, проверять попадает ли запись между 2 записей с другим номером, если да - слить все в 1 интервал.

[ThunderCat]

MRXWOLF,

У меня сейчас это так

Вы мешаете сущности в одну кучу, от этого у вас лажа. Учитесь отделять сущности, создавать зависимости и работать с реляционными базами данных согласно 3 нормальной формы, станет сильно проще.

Сейчас у вас:
1) Скинуто в кучу машины и временные интервалы, хотя очевидно что на 1 машину может быть МНОГО интервалов.
2) Поля заданы левой пяткой. status(new, и т.п) - это что? Это новая машина из салона? Новый клиент? plate - это что? Тарелка? date_s время записи камеры первое - это как читать, как угадать? Что вы делаете с прорвой сэкономленного времени не написав date_start? date_e - та же фигня, у вас что, буквы платные?
Как вы определяете что машина уехала и потом приехала опять?

оно смотрит если есть этот номер в статусе completed

Ага, значит если статус completed, мы его затираем и больше никак не можем посмотреть когда была машина в прошлый раз... Гениально...

Answer 3

[Руслан Федосеев]

Индекс на поле уникальный назначить религия не позволяет?

Comments

[MRXWOLF]

Представь номер AA1234CO
Механик закрыл ногой номер, и получилось AA1234CC
Это уже дубль

[MRXWOLF]

MRXWOLF, MRXWOLF, но с другой стороны в какой-то момент этот номер может быть правильным

[Василий Банников]

MRXWOLF, может тогда на моменте распознавания исключать варианты, где номер закрыт каким-то препятствием?

[Руслан Федосеев]

модуль телепатии стоит очень дорого. По какому признаку система должна догадаться, что это дубль? Насколько часто делаются фотографии? Если например они снимаются раз в 5 минут - то не важно, что на одной номер не тот.... Вообщем - формулируйте условия

[Ипатьев]

MRXWOLF, для базы данных - не дубль. Вы задали вопрос с тегом mysql. mysql про ваши ноги ничего не знает, и эти два номера для неё являются разными.
если у вас проблемы с ногами, то обращайтесь в поликлинику, а не сюда

Answer 4

[Sergey В.]

Если нужно исключить дубли при считывании номера за какой-то небольшой период, это можно сделать программно. Программа может запоминать номер и время в какую-то переменную и при распозновании сверяться с этим списком. Если вышел интервал "запрета", то уже писать в БД

Comments

[MRXWOLF]

Это сделано если один и тот же номер считывает 3 раза в три минуты.
Значит он верный
Но этот подход эффективный от части
Так как авто может быть повернуто на одном номере и потом оно повернеться оно напишет дубль