Как разобраться в области машинного обучения?

Question

[AndreyFlyAway]

Сколько времени ни пытаюсь войти в область машинного обучения, все чаще сталкиваюсь с тем, что не знаю с чего именно начать. Начинал читать несколько книг, в начале одной - объяснения теории графов и элементов теории энтропии, в другой книге даются краткие данные по теории вероятности и математической статистики, но проблема в том что обе книги дают этот материал (теории энтропии, мат. статистика и т.д.) очень кратко, и трудно понять суть материала и из чего он следует. Из прочитанного я понял, что точно нужно знать теорию вероятности и мат. статистику, но сколько же все-таки реально нужно изучить теории, чтобы просто обучить нейронную сеть распознавать текст и понять что я сделал (а не просто скопипастить пример). Так вот вопрос - может ли мне кто-нибудь из этой области объяснить, что именно нужно изучать и в какую сторону копать? То есть действительно ли мне нужно хорошо знать теорию графов, теорию энтропии, мат. статистику (я понял без нее никак), методы оптимизации и горы теории, которые приводят в предисловии этих книг? Как это реально происходит?

Comments

[v1t3man]

Как вариант, посмотрите на Школу анализа данных Яндекса, форум Open data science.

[Денис Загаевский]

v1t3man, в ШАД чтобы поступить, матан надо сдавать, а человек пару книжек не осилил. Чё уж тут.

[xmoonlight]

v1t3man, Денис Загаевский, ШАД - это не то, куда следует стремиться.

[Денис Загаевский]

xmoonlight, ШАД это отличный старт.

[xmoonlight]

Денис Загаевский, Старт, который просто отличный от других, но не оптимальный.

[AndreyFlyAway]

Денис Загаевский, теория энтропии, методы оптимизации и теория случайных процессов это уже 3 хороших книги (не считая знания математического анализа, который нужно знать, чтобы хоть чутка понимать эти книги). И плюс к этому их даже не достаточно просто прочитать, нужно заниматься с задачниками, чтобы это нормально понять и запомнить (это очевидно). Только эти три предмета уже целые университетские курсы. Пару книг?

[AndreyFlyAway]

xmoonlight, почему не следует стремиться в ШАД?

[xmoonlight]

AndreyFlyAway, там всё объясняют в рамках "чёрного ящика": "...для этого установим tensorflow и подключим следующие модули:....".
А то как сделать всё самому - так и не узнаете.

Answer 1

[freeExec]

Чтобы понять как работает нейронка распознающая символы не нужна не теория энтропии, ни математическая статистика. Достаточно разобрать как работает код этой сети. Ничего сложнее умножения там нет.
Для начала погружения можно взять тот же playground.tensorflow.org и его код на гитхабе.

Comments

[Griboks]

Следуя вашей логике, разбираться в коде смысла нет. Достаточно понять, что машинное обучение - это большая чёрная коробка с памятью. Сначала мы даём этой коробке много примеров (обучаем), затем она сама начинает нам предсказывать результат на основе примеров.

[xmoonlight]

freeExec,

Достаточно разобрать как работает код этой сети.

Это называется реверс-инжинеринг/взлом. Это не обучение и не понимание материала.
Не советуйте то, о чём не имеете представления.

[xmoonlight]

Griboks, +100500

[freeExec]

Griboks, Следуя моей логики нужно использовать дискриминант для решения квадратных уравнений, а не изучать его теорию и доказательство.

[AndreyFlyAway]

В коде будет просто присутствовать вызов тех или иных функций, которыми я обучаю сеть, но обучу я ее с какого-то момента без понимания что происходит. Конечно, я согласен, вызов API библиотеки это просто, но это не добавит мне понимания в области.

[freeExec]

AndreyFlyAway, Нет там никакого API, там всё написано с нуля в классическом стиле ООП. Самое то, чтобы понять как оно работает.

[AndreyFlyAway]

freeExec, как обучать нейронную сеть это просто, но это же далеко не все, почему же для этой цели огромные тяжеловесные библиотеки вроде tensorflow? Не думаю что все так просто.

[freeExec]

AndreyFlyAway, Огромные библиотеки, чтобы это делать быстро и оптимально.

[AndreyFlyAway]

freeExec, делать быстро и оптимально большие вычисления, грубо говоря, т.е. не изобретать велосипед чтобы доехать, но все равно же нужно понимать как и зачем, для чего и когда. Да и в итоге, с авторами книг вы не согласны, я правильно понял?

[freeExec]

AndreyFlyAway, Нужно различать: учебные материалы, промышленные комбайны и теоретические-научные работы, которые за ними стоят. Вас что интересует и для чего?

[AndreyFlyAway]

freeExec, мне интересует разработка с использованием машинного обучения (я понял это относится к промышленным комбайнам), но у меня сложилось мнение, что использование машинного обучения без должной теоретической базы не имеет большой силы. Отсюда и вопрос - какую базу надо иметь? А ваш ответ, как я понял, подразумевает отсутствие необходимости в наличие достаточно больших теоретических и практических знаний в этих областях, я же верно понял? (Под практическими знаниями я имею ввиду решение теоретических задач, которые обычно дают после прочтения теории в университетах)

[freeExec]

AndreyFlyAway, Да, я считаю, что для того чтобы использовать комбайны не нужно мочь доказать, что метод обратного распространения ошибки действительно приводит к уменьшению ошибки сети. Уже давно эти комбайны представляют из себя конструкторы, нужно только знать для каких задач какие компоненты нужны.

[AndreyFlyAway]

freeExec, ну а если я не знаю как уменьшить ошибку сети, то откуда я узнаю что нужно использовать именно метод обратного распространения, это же и есть теоретическая база, разве не так?

[Griboks]

freeExec,

Следуя моей логики нужно использовать дискриминант для решения квадратных уравнений, а не изучать его теорию и доказательство.

Так вопрос не в том, как решать уравнения, а в том, как его вывести и доказать его работоспособность.

Существует огромное количество методов машинного обучения, анализа данных, множество различный нейросетей, разных вариантов пред- и постобработки, визуализации, оценки моделей, подбора параметров, оптимизации. Всего примерно овермиллион комбинаций. Вы, конечно, можете запомнить все комбинации, но обычные люди предпочитают разобраться в базе, чтобы не учить всё это наизусть.

[freeExec]

Griboks,

Существует огромное количество методов машинного обучения, анализа данных, множество различный нейросетей,

ОК, гугл, "какая нужна нейронная сеть для распознавания объектов на изображении". Оказывается не нужно быть профессором высшей математики, чтобы получить ответ на этот вопрос.

вариантов пред- и постобработки, визуализации, оценки моделей, подбора параметров, оптимизации. Всего примерно овермиллион комбинаций.

И на конкретной задаче их подбирают по сути методом научного тыка вы сами или когда-то кто-то это сделал за вас.

[Griboks]

freeExec,

Оказывается не нужно быть профессором высшей математики, чтобы получить ответ на этот вопрос.

Только вот ответ может быть неправильным или их может быть очень много. Или результат не подойдёт для решаемой задачи. Или не хватит ресурсов для выданного варианта сети. Или на метод тыка уйдёт 3 недели. Или гугл выдаст устаревший ответ, т. к. новые (а не популярные) технологии очень долго продвигаются на 1 страницу гугла.

А так да, можно и через гугл. Вдруг повезёт...

Answer 2

[xmoonlight]

Новому нужно всегда обучаться на конкретной задаче.

Например: разработать ИИ-бота для игры в "крестики-нолики".
После - начинаем анализировать и искать решение, исходя из текущих знаний и опыта.
Затем, дополняем свои предположения по решению информацией из интернета.
Снова анализируем, ищем, читаем.
Рано или поздно, доходим до понятия искусственного нейрона и читаем/смотрим: для чего он нужен и т.д.

Когда будет понятно: сколько нейронов нужно соединить, как именно и главное: "ПОЧЕМУ?!", - задача будет решена на 50%.
Затем - нужно понять: как сделать обучение/запоминание и обучить.
Что-то исправить (ошибки - есть в 100% случаев у всех!).

И, в конце всего труда, получить рабочего ИИ-бота с НС и с полным решением поставленной задачи.

Comments

[Griboks]

Не забывайте, что крестики-нолики имеет конечное множество решений, а следовательно и стационарное состояние сети. Потом обязательно рассмотрите нестационарную задачу, например, классификацию новостей.

[dmshar]

Новому нужно всегда обучаться на конкретной задаче.

- это правильно, только надо добавить "предварительно накопив фундамент, на котором эту задачу в принципе можно понять(!!!) а потом решить". А иначе все может свернуться к тому, о чем говориться в другой ветке этой тему : "Достаточно разобрать как работает код этой сети" и гордо считать себя после этого специалистом по машинному обучению.

[xmoonlight]

dmshar, в "крестики-нолики", думаю, все играли... :)

Answer 3

[Dmtm]

нейросеть сводится к пересчету веса (значимости) каждого нейрона,
все интересное - в алгоритмах пересчета весов,
в основе это матанализ и теория вероятностей,
гуглить для начала градиентный спуск, распространенный но не единственный,
упрощенно - под конкретную задачу ищем метод который балансирует между скоростью обучения и возвратом (сбросом весов) при коррекции ошибок

Comments

[AndreyFlyAway]

Ваш ответ расходиться с тем, что я читал в книгах, в одной из них говорится, что основа всему теорема Байеса и использование метода наибольшего правдоподобия.

[vldud]

AndreyFlyAway, смотря как определить понятие "основа". Если заходить со стороны тервера, то вы правы. Но Dmtm, насколько я понимаю, отвечал на вопрос "Как это реально происходит?". Так вот, реально в основе многих нейросетевых методов действительно лежит градиентный спуск. С ним вы будете взаимодействовать плотно. А вот с методом наибольшего правдоподобия и теоремой Байеса вы напрямую работать вряд ли будете.

[AndreyFlyAway]

vldud, Ага, то есть на самом деле нет необходимости читать все эту обширную теорию, а понять градиентный спуск и попробовать обучить сеть? Этого достаточно для вхождения в область?

[vldud]

AndreyFlyAway, если мы ищет ответ на ваш вопрос

сколько же все-таки реально нужно изучить теории, чтобы просто обучить нейронную сеть распознавать текст и понять что я сделал

то я бы сказал так: нужно освоить базовые понятия из тервера и матстатистики, но основное внимание сосредоточить на алгоритмах интересующей нейросети.

В дальнейшем от ковыряния математики вам все равно не уйти.

[dmshar]

AndreyFlyAway,

Ага, то есть на самом деле нет необходимости читать все эту обширную теорию, а понять градиентный спуск и попробовать обучить сеть? Этого достаточно для вхождения в область?

Это смотря чего вы хотите. Ну например - хотите научиться делать кладку стен - тут сопромат учить не обязательно. Сарай выложите и так. Хотите стать архитектором - тут без знаний сопромата никак, иначе ваш дворец завалиться. Выбирайте свой путь - в чернорабочие или в проектировщики.

[AndreyFlyAway]

dmshar, в своем вопрос я описал следующее:

Так вот вопрос - может ли мне кто-нибудь из этой области объяснить, что именно нужно изучать и в какую сторону копать? То есть действительно ли мне нужно хорошо знать теорию графов, теорию энтропии, мат. статистику (я понял без нее никак), методы оптимизации и горы теории, которые приводят в предисловии этих книг?

Под этим я и имел, какая нужна база чтобы двигаться, даже архитектуру нужно знать, что в некоторых местах не подойдет кладка из определенного материала, собственно как и нормальному чернорабочему.

[dmshar]

AndreyFlyAway, Не "даже архитектуру нужно знать...." а ему это знать обязательно. А уж кем вы хотите быть чернорабочим (уметь обращаться к готовому API, получать какой-то ответ и наслаждаться им - ну, т.е. уметь строить свой сарайчик или гараж) или архитектором (который как минимум понимает, как работает тот код, к которому он обращается, почему в одном случае можно применять одну сеть и ни в коем случае не использовать другой, какие есть подводные камни при использовании тех или иных методов, что на нейросетях свет клином не сошелся и во многих задачах есть инструменты "по-дешевле" и более эффективные, как можно используемые методы соединять между собой, как вообще оценить, что его метод дает "достаточную" точность и еще пару десятков аналогичных вопросов, а так-же не чувствовать себя беспомощным, если завтра появятся новые методы и инструменты). Не даром опытные люди пишут десятки постов в интернет на тему, что-же должен знать специалист по машинному обучению (читай - наш "архитектор"). Можно воспользоваться их опытом, а можно гордо решить, что все это "от лукавого" и по факту остаться каменщиком.