В чем смысл нейронных сетей / машинного обучения?

Question

[Тарас Сереванн]

Здравствуйте!

Возьмем например эту статью:
https://geektimes.ru/post/291789/
"ИИ научили распознавать сарказм в Twitter по смайликам"

Зачем для этого кейса использовать нейронную сеть? Почему не проанализировать некоторое кол-во сообщений со смайликами и не сделать выводы.

Например, мы узнали, что смайл [произвольный смайл] в 80% случаев используется в сообщениях c сарказмом. И на основе этой вероятности теперь можно решать по смайлу, является ли сообщение сарказмом. Т е в этом случае если оно содержит смайл [произвольный смайл] , то 80%, что рассматриваемое сообщение --
сарказм.

И так для каждого смайла. Так как для нейронной сети тоже необходимо в ручную разметить train/test датасеты, то кол-во работы это не увеличит.

Так в чем смысл нейронных сетей/ML, если очень много задач можно решить просто с помощью статистики?

Answer 1

[blugamire]

В том то и дело, что ваше решение не дает никаких гарантий. От слова вообще.
Статистика не дает ответов на конкретном случае.
Статистика дает ответы на на большом количестве случаев - типа, что 10% это синий, а 90% это зеленый. Но является ли синим или зеленым конкретный объект - не дает ответа ваш метод.
Ваш метод годится только как помощник, как предварительный фильтр для людей-модераторов.

А обучение сети хоть какое то подобие человеческого анализа дает в этом случае.
Сеть - просто попытка подменить живого человека, когда вы не можете выцепить железные закономерности и запрограммировать эти закономерности.
Вы скармливаете сети пример того, что уже прошло проверку человеком, и получаете подобие живого модератора и т.п.

Answer 2

[xmoonlight]

ИНС - это динамические веса для формирования логических заключений/выводов по входным параметрам. Т.е., на каждое новое входное сообщение веса ИНС постоянно пересчитываются, оптимизируя старый и создавая новый, более лучший фильтр.
Таким образом, всё зависит от схемы ИНС и входных данных: в данном случае - сообщений.
А статика - это и есть статика...

А теперь, визуально:

Comments

[Тарас Сереванн]

А можете это более простыми словами объяснить? Я ничего не понял

[xmoonlight]

Тарас Сереванн: более простыми - учитываются ещё сами сообщения (кроме смайлов), которые анализируются по-буквенно в узлах ИНС. Чем больше предыдущее звено набрало веса, тем большая вероятность того, что эта буква из сообщения с сарказмом и т.д. (каскад с обратной связью)

Answer 3

[Philipp]

Смысл нейронной сети в ее адаптации и экстраполяции результатов.
Приведу пример. Пусть это будет система проверки писем на спам.
Вначале вы обучили систему определенному набору сообщений. Часть из них нормальные, часть из них спам.
Затем стали попадаться новые сообщения. Люди могут переобучить модель и улучшить модель.

По сути однослойная НС и есть статистика. Грубо говоря слова и их веса в результате.
Но все меняется, когда вы переходите от однослойной модель к многослойной. Получается статистика от статистики.
А теперь самое интересное.
Статистика на то и статистика, что она рассматривается с позиции того, что ее результат постоянен и потом используется для каких-то выводов. ИИ и НС подразумевают адаптацию к изменениями, т.е. живую статистику, адаптирующуюся к результатам.