nirvimel

Семантический анализ естественных языков - одна из самых тяжелых задач в computer science. Намного тяжелее, чем ИИ для шахмат (который научился обыгрывать человека еще двадцать лет назад). В этом направлении мировая наука пока еще продвинулась совсем недалеко. Браться за это в одиночку не стоит без трех высших образований (одного из них по лингвистике).

Из чего состоит кот?
- Из головы, туловища, лап и хвоста.
Из чего состоит стул, на котором сидит кот?
- Из сиденья, ножек и спинки.

Из чего состоит изображение кота?
- Из миллионов пикселов (точнее из миллионов цифровых значений, определяющих цвет каждого пиксела).
Из чего состоит изображение стула?
- Из миллионов пикселов, таких же, из которых состоит изображение кота, только по-другому расположенных.

Как отличить изображение кота от изображения пустого стула?
- (Вероятно) Надо сравнивать значение пикселов на разных изображениях.
А конкретно какие пикселы с какими сравнивать? По какой формуле?
- Я не знаю. Ни один человек не знает и не может знать такую формулу, которая бы от миллиона числовых аргументов (значений цветов пикселов) выдавала бы на выходе одно значение, простой ответ: изображен ли на этой картинке кот или стул.

Но как тогда человеческий мозг решает эту задачу?
- Человеческий мозг работает на нечеткой логике. Поэтому человеку может казаться, что в облаках и кляксах Роршаха скрываются образы знакомых предметов (ложноположительное срабатывание нейронной сети). Нейроны мозга изначально связаны между собой хаотично, и эта структура не способна выдать определенный ответ о принадлежности различных изображений к одной категории. Но в ходе обучения эта структура перестраивается таким образом, чтобы ответы на вопрос о принадлежности изображения определенной категории с каждым разом (шаг обучения) лучше соответствовали действительности. См. На чем основан принцип обучаемости нейронных сетей? . В процессе самого распознания не происходит никакого целенаправленного вспоминания или поиска информации в памяти (это занимало бы слишком много времени). Мозг взрослого человека выдает ответ "это (не) кошка" так же быстро, как и мозг новорожденного, различается лишь точность этих ответов и процент ошибок. Эта точность определяется только структурой связей между нейронами в сети, а никак не количеством различных кошек, которых человек может вспомнить сознательно. Доказательством этого может служить тот факт, что у людей, переживших потерю памяти, никак не меняется способность распознавать простые образы при том, что они не в состоянии вспомнить даже собственное имя.

Типология задач машинного обучения - думаю эта статья лучше всего раскрывает суть машинного обучения в плане решаемых задач.

машинное

обучение

без напряжения мозга

Если данные имеют количественный (не категорийный) характер и представлены в виде численных значений, то предсказание будущих результатов по прошлым есть классическая задача на регрессию и нейронные сети к этому не имеют отношения.

Для этого существует Фильтр Калмана.

Наглядный пример возможностей фильтра — получение оптимальных, непрерывно обновляемых оценок положения и скорости некоторого объекта по результатам временно́го ряда неточных измерений его местоположения.

Фильтр Калмана — это, наверное, самый популярный алгоритм фильтрации, используемый во многих областях науки и техники. Благодаря своей простоте и эффективности его можно встретить в GPS-приемниках, обработчиках показаний датчиков, при реализации систем управления и т.д.

Последняя цитата отсюда. А эта статья окончательно снимает все вопросы.

Все дело в том, что Python обладает уникальным сочетанием качеств:

1. Язык общего назначения (R и MATLAB все-таки для узкой аудитории).
   
2. Динамический интерпретируемый скрипт дающий возможность очень быстрой разработки.
   
3. Numpy открывает доступ к векторным вычислениям (без явно описываемых циклов) на почти предельных для железа скоростях. На его основе выросла огромная инфраструктура математического питона. Целая научная сфера, размеры которой трудно представить (на одном только Scikit несколько десятком библиотек по всем направлениям).
   
4. Cython дает возможность вручную дописать те мелочи, которых кому-то может не хватить в Numpy, на компилируемом как си языке с синтаксисом похожим на питон.