Какая лучше нейросеть подходит под поиск нужных частей (подходящей части звонка)?

Question

[xiiicool]

Есть задача поиска подходящей части звонка.
Есть сам звонок, где есть номер А, номер Б, продолжительность и время вызова, у частей могут отличаться все параметры.

Comments

[Алексей Уколов]

Что такое "часть звонка"? Подходящую под какие критерии?

[xiiicool]

Алексей Уколов, когда звонок проходит через несколько коммутаторов, каждый коммутатор присылает CDR запись об звонке, звонок может состоять из 3 частей, чтобы звонок склеить в единый нужно найти все части этого звонка. т.к время на коммутаторах может отличаться на мс то и время вызова в эти частях может отличаться и продолжительность. Но есть ещё и переадрсация звонка. В каких то частях может быть подставлен другой номер.

[Everything_is_not_so_bad]

Покажи как фрагменты выглядят схематично и что нужно найти в них.

[xiiicool]

Everything_is_not_so_bad, например есть звонок А 8600100 Б 8700100 длительность 50сек время вызова 2024-08-03 12:51:01
Вариант где 100% можно слеить звонок будет такой
1 коммутатор прислал часть А 8600100 Б 8700100 длительность 50сек время вызова 2024-08-03 12:51:00
2 коммутатор прислал часть А 8600100 Б 8700100 длительность 49сек время вызова 2024-08-03 12:51:00
3 коммутатор прислал часть А 8600100 Б 8700100 длительность 50сек время вызова 2024-08-03 12:51:01
В итоге мы собираем части вместе в одну и получаем
А 8600100 Б 8700100 длительность 50сек время вызова 2024-08-03 12:51:01
Как происходит процесс склейки
Приходит часть 1, там ещё есть такая штука как перемычки по которым понятно в какую сторону искать другую часть, пока других частей нету записываю в базу эту часть
Приходит часть 2 мне нужно искать часть которая уже записана в базу, так и 3 часть
Я бы хотел может если так можно обучить нейросеть, даю ей список частей найденных по перемычке + диапазону +-3400мс (т.к эта максимальная разбежка между коммутатарами), а она мне найдёт лучшего кандидата либо с каким процентом из списка может подходить к искомой части

[Everything_is_not_so_bad]

Взяв вводные данные с вопроса и с комментариев, ИИ (Llama3 3.1 8B) предлагает следующее:

spoiler

Для решения проблемы сборки фрагментированной CDR-данных есть несколько подходов. Сначала давайте рассмотрим классический подход к решению этой проблемы:

1. Данные очистки и преобразования: Преобразуйте форматы времени в однородный формат (например, Unix-метка времени или секунды с эпохи). Убедитесь, что значения длительности и времени находятся в однородной единице измерения (например, миллисекунды).
2. Сопоставление данных: Используйте технику сопоставления данных, такие как Венгерский алгоритм или Алгоритм динамической трансформации временной шкал..., чтобы сопоставить фрагментированные CDR-данные. Эти алгоритмы помогут совпадать схожие шаблоны в данных, даже если значения времени немного отличаются.
3. Сопоставление: После сопоставления данных используйте алгоритм сопоставления, такой как Сходство Джаро — Винклера или расстояние Левенштейна, чтобы выявить совпадающие записи CDR. Эти алгоритмы помогут измерить подобие двух строк (например, номера телефонов).
4. Сортировка и слияние: Сортируйте совпадающие записи CDR по их значениям времени и слейте их в единую, цельную запись.

Примечание: Нейронные сети не являются лучшим решением для этой проблемы. Нейронные сети обычно используются для сложных, высокомерных данных, таких как изображения или задачи обработки естественного языка. В этом случае данные относительно простые, и традиционные алгоритмы могут быть использованы для решения проблемы эффективно.

Предпочтительные решения:

1. Индексы базы данных и запросы: Используйте индексы базы данных и эффективные запросы для быстрого получения совпадающих записей CDR.
2. Библиотеки сопоставления данных: Используйте библиотеки, такие как scikit-learn или pyDTW, для выполнения сопоставления данных и сопоставления.
3. Традиционные алгоритмы: Используйте алгоритмы, такие как алгоритм Hungarian, дистанция Jaro-Winkler или дистанция Levenshtein, чтобы решить проблему.

Когда учитывать нейронные сети:

1. Высокоразмерные данные: Если данные CDR имеют высокое количество признаков (например, несколько номеров телефонов, номера вызывающих или дополнительные метаданные), нейронная сеть может быть подходящим решением.
2. Сложные шаблоны: Если данные содержат сложные шаблоны или отношения, которые сложно запечатлеть с помощью традиционных алгоритмов, нейронная сеть может быть более подходящим решением.
3. Большие объемы данных: Если набор данных очень большой, нейронная сеть может быть более эффективной в отношении вычислений и использования памяти.

[xiiicool]

Everything_is_not_so_bad, спасибо

Answer 1

[mayton2019]

1 коммутатор прислал часть А 8600100 Б 8700100 длительность 50сек время вызова 2024-08-03 12:51:00
2 коммутатор прислал часть А 8600100 Б 8700100 длительность 49сек время вызова 2024-08-03 12:51:00
3 коммутатор прислал часть А 8600100 Б 8700100 длительность 50сек время вызова 2024-08-03 12:51:01

Данная постановка для нейросетей выглядит достаточно ... натянутой что-ли.
Обычно НС мы внедряем тогда, когда у нас нет возможности описать логику на if-else.
В твоем-же случае если вектор параметров представить как { x1, x2, x3, x4 }, то
нам достаточно проверить что параметры x3, x4 попадают в окрестность некого времени "эпсилон"
(равной 1 секунда например) и после этого задача сведения трех записей в одну группу решается элементарно.

Для более обобщенных случаев почитай про метод кластеризации (машинное обучение ) https://ru.wikipedia.org/wiki/%D0%9A%D0%BB%D0%B0%D...

Но он в свою очередь потребует для твоих векторов { x1,x2,x3,x4 } ввести некую меру дистанции
чтобы понимать насколько далеко один вектор убежал от другого (и не только по длительности звонка
но и возможно по номеру А и Б).

Это все сложные методы и я все таки повторю что лучше твою задачу решить простым способом
если твой преподватель конечно не требует таких извращений.

Comments

[xiiicool]

спасибо