Верно ли, что нейронная сеть в случае классификации — это, грубо говоря, ансамбль логистических регрессий?

Question

[Alexander APS]

Только вот начал вникать в глубокое обучение, более менее разобравшись с классическим МЛ, и поэтому хочется провести для себя кое-какие аналогии, чтобы понять суть, т.к. тема кажется очень сложной.

Answer 1

[dmshar]

Нет.
Ансамбль - это всегда обобщение нескольких решений в одно - последовательное, параллельное, более изощренное - но всегда есть несколько решений на основании которых как-то определяется одно.
НС - это всегда поиск одного решения путем оптимизации коэффициентов уравнения (ну, весов связей если так вам проще).
Если вы разобрались "классическим МЛ" - то должны понимать, что любая задача в этой области - это задача оптимизации. Иногда явно так сформулированная, иногда -
несколько завуалировано. А НС - это просто еще один метод поиска того самого оптимума. Не более и не менее. Про всякую связь с "живыми" нейронами, синапсами и дендритами и пр. - забудьте сразу по прочтении.

Comments

[Alexander APS]

Получается, это тогда некий бустинг логистических регрессий?

[dmshar]

Alexander APS,
Еще раз - нет!
Определение: " бустинга - это процедура последовательного построения композиции алгоритмов машинного обучения, когда каждый следующий алгоритм стремится компенсировать недостатки композиции всех предыдущих алгоритмов."
В нейросети нет "следующих алгоритмов". Есть один алгоритм, выполняемый итерационно. Это совершенно разные вещи. Я писал алгоритм обучения НС - это в конечном счете поиск оптимума. Грубо говоря - весьма замысловатый "градиентный" спуск. А бустинг - это последовательное применение возможно РАЗНЫХ алгоритмов.