Нейронная сеть под мою задачу с чего начать?

Question

[Виктор Л]

Преамбула:
Есть желание познакомится с таким понятием как "Нейронные сети", в интернете много информации, но большинство абстрактная и после мин 30 прочтения, начинает клонить в сон :), поэтому для себя решил изучать с помощью поставленной задачи
Сама задача:
С помощью нейронной сети из названия выделять характеристики и свойства товара:
например есть полное наименование "Фланец Ру25 ГОСТ 12820-80 ст20 ду200 (Л)" из него нужно получить
что это Фланец , диаметр ду 200 Давление Ру 25 сделан по госту ГОСТ 12820-80
Сам Вопрос:

1. Хотелось бы понять вообще поставленная мной задача подходит для нейронных сетей?
   
2. Если да, то с чего подойти к ее решению (ссылки на информацию приветствуются)?
   
3. Если нет, то как тогда поставить задачу?
   

Comments

[abmanimenja]

"Фланец Ру25 ГОСТ 12820-80 ст20 ду200 (Л)" из него нужно получить
что это Фланец , диаметр ду 200 Давление Ру 25 сделан по госту ГОСТ 12820-80

Я даже как человек не понимаю что тут написано.
Кроме слова "фланец".

[Виктор Л]

Это реальный пример из БД, но суть в том что это все еще нужно 'нормальзовать' убрать двойные пробелы или наоборот поставить пробел где нужно

Answer 1

[FRiMN]

Я совсем не сварщик, но на сколько понимаю, нейронки подходят для задач, где надо выделить кластеры (а не известные заранее группы).
Ваша задача скорее не подходит. Нейронки обычно отвечают чем-то типа "на 80% да". Но я не сварщик )

Comments

[dmshar]

Во-первых, кластеры - это и есть "заранее неизвестные группы".
Во-вторых, нейронки подходят не только для кластеризации.
В-третьих, к задаче ТС нейронки почти никаким боком, разве что - что-бы самому поупражняться. Но и для этого задача выбрано крайне неудачно.

[Роман]

Гораздо более подходящая задача для начинабщего в ИНС - создание и обучение ИНС дающей оценку например опасности ситуации на шашечном поле (игра в шашки) всего будет 256 входов и один выход, количество скрытых слоев и колличество нейронов в них подбираете сами. Обучающие, тестовые и контрольные выборки составляются на основе сыгранных партий, записей которых в инете множество.

Решив эту задачу вы более или менее поймете что такое ИНС, их слабые и сильные стороны, что и как влияет на количество скрытых слоев и колличество нейронов в них и многое другое.

Далее уже можно изучать рекуррентные ИНС и различные их вариации (lstm и прочие)

Answer 2

[VoidVolker]

Это называется "парсинг строки". Нейронные сети тут совсем не нужны. Наиболее простые способы парсинга — обычный поиск в строке нужных данных и регулярные выражения.

Comments

[Виктор Л]

VoidVolker "парсинг строки" - ну это понятно просто

реальный пример из БД, но суть в том что это все еще нужно 'нормальзовать' убрать двойные пробелы или наоборот поставить пробел где нужно

конечно можно бегать по строке и регуляркой выдергивать то что нужно, просто если все же это доверить нейронной сети?

[Moskus]

Виктор Л, чтобы доверить это нейронной сети, вам её нужно обучить, а для этого, вам нужно будет сделать набор для обучения, а для этого - регулярными выражениями нормализовать и разобрать строки. В итоге, у вас будет набор рабочих регулярных выражений в любом случае, ещё до того, как вы даже приступите к обучению сети.

[VoidVolker]

Повторю еще раз. Ваша задача — именно элементарный парсинг строки. Есть исходные строки в различных форматах, нужно привести все к единому стандарту. Если все это просто скормить нейронной сети — то она просто это съест и ничего не выдаст обратно адекватного, а только хаотический белый шум. Чтобы нейронная сеть выдала наружу какой-то результат, её нужно обучить. Значит, у вас должно быть два набора входных данных — нестандартное наименование продукции и то же самое наименование приведенное к единому стандарту.
Результат регулярного выражения всегда однозначен. Текст — это четкие данные.

[Виктор Л]

Moskus, ну допустим если хотя бы в целях изучения? вот разбить массив номенклатуры на массив строк по символу пробел получаем вот что

это не верно Люк", "сливной", "(комплект) - по идее это одно название если просто натренировать сеть правильно разбивать строку?

[АртемЪ]

Виктор Л, Все правильно.
Нужно натренировать нейросеть.
Для этого нужно скормить нейросети пример неразобранной строки, и пример правильно разобранной строки.
Это называется обучение. Даете исходник и правильный ответ.
Как научится будет разбирать сама, если хорошо обучите.
Для обучения нужно будет подготовить хотя бы десяток тысяч примеров.
После чего протестировать, посмотреть где допущены ошибки и продолжить работу по обучению если результат не устраивает.

[Виктор Л]

АртемЪ, ну на счет примеров у меня база как мин 4000 наименований

[АртемЪ]

Виктор Л, Маловато будет для обучения.
Найдите еще пару таких баз, разберите их вручную корректно, и тогда можно начинать обучение.

[Moskus]

Виктор Л, а кто говорил, что "разбиение по пробелам" - это первое, что нужно делать, а главное - достаточное? Разбор, обычно, куда сложнее и заключается в том, что сначала делается нормализация, а потом - вычленение более или менее фиксированных подстрок, и так далее.
Добавлю, что если набор фиксированных правил выработать невозможно, нейросеть с этой задачей тоже не справится - угадывать лучше человека она не может, она может только лучше учитывать комбинации признаков.

Answer 3

[ivodopyanov]

Если хотите попрактиковаться в машинном обучении, то взгляните на https://www.kaggle.com/

Answer 4

[АртемЪ]

1) Нет. С этой задачей и человек не всегда справится.
2)Парсинг, нечеткий поиск.
3)Парсинг.

Answer 5

[Владимир Куц]

Попробуйте пакет NLTK для обработки данных как вариант.
А нейронные сети не стоит запихивать туда, где они в принципе не нужны...

Answer 6

[al_gon]

нечёткий поиск

Comments

[Виктор Л]

Вы предлагаете пройтись алгоритмом не четкого поиска по всей номенклатуре? на сколько она соответствует правильной?

[al_gon]

Виктор Л, Нет.

1) Я предлагаю загрузить номенклатуру в поисковый движок, и если есть изменению обновлять изменённые записи.
2) реализовать "функцию похожести" https://en.wikipedia.org/wiki/Similarity_measure. В первую очередь для строк, затем по надобности для других типов и в итоге с комбинировать их все вместе.
Результат такой функции это число от 0 до 1, чем ближе к 0 тем меньше различий.

Сам процесс:

1) идет запрос на название продукта, он токенизуруется и отправляется как запрос к поисковому движку
2) из полученного результата находим самый похожий на запрос.

Естественно с границей "похожести" если самый похожий, похож на 50% (0,5), наверно этого мало.

Поисковый движок нужен чтобы сузить поиск, и не искать по всей номенклатуру, которая может легко быть в несколько миллионов единиц, а сфокусироваться на первых 1000 к примеру.

Естественно с границей "похожести" если самый похожий, похож на 50% (0,5), наверно этого мало.

Поисковый движок нужен чтобы сузить поиск, и не искать по всей номенклатуру, которая может легко быть в несколько миллионов единиц, а сфокусироваться на первых 1000 к примеру.

[Виктор Л]

al_gon, Ну суть же не найти а суть "причесать" номенклатуру выделить из нее характеристики

[al_gon]

Виктор Л, это ещё проще. схема таже.

Это тоже самое как если бы у вас была "чистая" номенклатура, но шли "не чистые" запросы.

[al_gon]

Виктор Л, написал Вам в скайпе