Верна ли предлагаемая структура нейронной сети?

Question

[snegirev_news]

Задача состоит в распознании разновидности диабета по анализу крови и антропометрическим параметрам человека.

Вместе с науч. руководителем набросали вот такую схему нейронной сети:

Архитектура нейр.сети

Суть такова: Красный нейрон - на него подаются результаты анкетирования
Зеленый - результаты анализа крови
Синий и Желтый - результаты проверки факторов риска ( на синий для Мужского пола, на Желтый - для женского)
На следующий слой для верхнего черного нейрона туда подаются результаты с предыдущего слоя, только тех, что относятся к Мужскому полу, соответственно на нижний - для женского. Последний слой - выводит результат

Хотелось бы спросить совета о том, насколько верна эта структура и, может быть, советы по ее улучшению или переработке.
Заранее спасибо!

Answer 1

[dmshar]

Задам вопрос - а зачем вам нейронная сеть? Дело в том, что ваша задача КЛАССИЧЕСКАЯ задача классификации, к которой сводятся практически все задачи медицинской диагностики до знаменитого IBM Watson включительно.
Нейронная сеть в реалии нужна тогда, когда классические методы не работают, ну например, при очень сложных и запутанных связях между входными параметрами (как в распознавании визуальных образов или в распознавании смысла текста), причем еще одно важнейшее условие - наличие реально очень-очень-очень-очень большого количества входных данных (от десятков тысяч до миллионов). И только при этих условиях НС способны дать хоть какой-то выигрыш по точности, по сравнении с классикой. Первого в вашем случае точно нет, а второе - очень вероятно, что нет.
Кроме того, напомню, что в медицине никто и никогда не примет результат вашего исследования, если вы не будете способны его интерпретировать (термин "доказательная медицина" надеюсь, вам знаком, как и ее основные требования). НС этим свойством не обладают, классические алгоритмы - обладают.
Так приведите хоть один аргумент - кроме моды - в пользу НС.
Если же все таки примете решение применять традиционные алгоритмы машинного обучения - можно будет думать и обсуждать, какого класса алгоритмы лучше применить и как его реализовать.
Удачи.

Comments

[snegirev_news]

dmshar, увы, таково требование- использование нейронных сетей.

Первоначальной задумкой было использование нейрон-нечеткой системы, на основе базы правил.
Но когда начали углубляться в тематику, и ознакамливаться с мед.литературой, то нашли совокупность этапов (3 этапа) по которым в итоге можно поставить диагноз "Сахарный диабет"

1. Тестирование (ответы да/нет)
2. Факторы риска (ответы да/нет + числовые параметры)
3. Анализ крови
4. Вынесение вердикта

После выполнения каждого этапа выносится промежуточный вердикт. На 4 этапе подаются промежуточные вердикты с предыдущих 3 этапов + пол человека, возраст и статус беременности и на основе правил там выносится итоговый вердикт.

Как нейрон-нечеткая система тут вариант отпадает. Варианты где подается вариант да/нет - разбивать на терм- множества и производить газификацию - не думаю, что хорошая идея.

Отсюда пришли к классическим нейронным сетям.

[Арсений Кравченко]

Нейросеть с полносвязными слоями в лучшем случае сможет переобучиться: скорее всего, данных у вас немного -> маленькие сети будут плохо предсказывать, а учить большие будет не на чем.

Если так уж хотите делать машинное обучение, делайте что-то попроще (ну там лог.регрессию или бустинг), заодно доменные знания для генерации признаков пригодятся.

[dmshar]

snegirev_news, "Отсюда пришли к классическим нейронным сетям." - Ну, хотите учиться на собственных шишках - никто вам запретить не может.
Но все таки рекомендую перед началом процедуры ознакомиться каким путем шли ваши предшественники, те, кто уже добился результата:
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5257026/
https://www.sciencedirect.com/science/article/pii/...
https://towardsdatascience.com/machine-learning-wo...
https://towardsdatascience.com/machine-learning-fo...
https://towardsdatascience.com/end-to-end-data-sci...
https://towardsdatascience.com/predicting-hospital...
https://towardsdatascience.com/diabetes-prediction...

За одно и будет с чем сравнивать ваши результаты.

Answer 2

[Владимир Олохтонов]

Определите метрику качества и экспериментируйте, до архитектуры нейронных сетей наука пока не добралась, так что эксперимент - главный критерий :)

PS: для экспериментов рекомендую использовать pytorch.

Answer 3

[⚡ Kotobotov ⚡]

>только тех, что относятся к Мужскому полу, соответственно на нижний - для женского.
вся суть машинного обучения, в том чтоб машина САМА искала какие признаки к чему и как относятся.
то что вы уже за нее решаете, как у вас будут признаки работать, это уже не машинное обучение - это эвристическое программирование.
Хотите машинное обучение - соединяйте полностью слои друг с другом

Comments

[snegirev_news]

⚡ Kotobotov ⚡ , да, сейчас осознал, что это глупо звучит и верно, надо чтобы нейроны второго слоя соединялся со всем первого слоя.

Тогда еще пару вопросов.
1. Как быть с количеством нейроном на втором слое? Сейчас их два, почитав литературу, понимаю, что они нужны для более точной настройки сети, но вот как определиться с их количеством? Только экспериментально?
2. На выходном слое у меня тоже два нейрона. Преподаватель аргументировал это тем, что возможных исходов у меня может быть 4 (здоров, в группе риска, Диабет 1 и 2 типа). Поэтому и два выходных нейрона.
Если они будут выводить в итоге 0 или 1, то комбинация 00, 01, 10, 11 будет охватывать все мои возможные исходы диагнозов. Верный ли это подход?

[⚡ Kotobotov ⚡]

snegirev_news, ваш преподаватель пытается собрать архитектуру по своему опыту, на основе эвристик и экспертных знаний в предметной области.
Это рабочий подход -> но он НИКОГДА не позволит превзойти результаты людей которые строили такую систему.
Чтоб превзойти результаты знаний людей которые их строили вам нужно полностью отказатся от подхода "построения сети" на основе своих знаний о предмете для которого вы нейросеть строите.
Для этого в начале на самом первом слое, вы соединяете ВСЕ нейроны СО всеми входными сигналами, нейросеть должна сама определить какие веса и как оценивать эти входные параметры.
Уже на этом этапе вы сами себе создали барьер не позволяющий создать нормальную нейросеть.
Второе скрытый слой (который вы называете вторым), он абсолютно никак не связан с вашими знаниями что и как там должно работать, это просто скрытый слой (грубо говоря ПОД КЛАСС, предыдущего слоя)
Это как у вас были категории например одних товаров, а потом появились какие-то подкатегории которые комбинируют свойства разных категорий.
Вобщем мой совет -> соединяйте все со всеми, и количество нейронов на слое плавнее уменьшайте.
В начале сделайте например для 20 входящих сигналов 6 нейронов, потом они соединяются с 3мя нейронами потом с 2мя нейронами.
И перестаньте говорит о том, какой нейрон за что там типа ДОЛЖЕН отвечать, нейросеть без "сопливых" разберется как ей оценивать какой параметр, на основе обратного распространения ошибки.

[snegirev_news]

⚡ Kotobotov ⚡ ,
А вот если часть из входных сигналов - это результаты теста (с ответом да/нет), а часть - анализ крови, где подается значение числовое значение и эти параметры они получаются на разных этапах медосмотра, то все равно нужно чтобы каждый входной сигнал соединялся со всеми нейронами на входном слое?
Просто я думал, то, что получается на первом этапе медосмотра посылать на один нейрон первого слоя, а анализ крови - на другой нейрон первого слоя.
Это не верный подход?

И опять же повторю вопрос с выводом: На выходном слое у меня тоже два нейрона. Преподаватель аргументировал это тем, что возможных исходов у меня может быть 4 (здоров, в группе риска, Диабет 1 и 2 типа). Поэтому и два выходных нейрона.
Если они будут выводить в итоге 0 или 1, то комбинация 00, 01, 10, 11 будет охватывать все мои возможные исходы диагнозов. Верный ли это подход?

[⚡ Kotobotov ⚡]

snegirev_news, ну да, если ты хочешь описать 4 исхода в виде бинарных состояний, то требуется минимум два узла, тут как бы никаких других вариантов нет.

Answer 4

[ivodopyanov]

1. Два-четыре нейрона в одном слое - это ну очень скупо. Если обучение будет на первом Pentium - то тогда может быть
   
2. Незачем так явно ограничивать топологию сети. В ходе обучения веса ненужных связей сами собой уйдут в 0.
   
3. Посмотрите другие алгоритмы машинного обучения, например градиентный бустинг (классическая реализация - библиотека xgboost)
   

Comments

[snegirev_news]

ivodopyanov, Спасибо за ваш комментарий, но хотело бы задать Вам еще пару вопросов.
У меня в сумме получается +- 34 входных параметра
4 возможных исхода диагноза

На основе предыдущих комментариев, представляю теперь свою архитектуру в виде: 34 нейрона на первом слое, 6 нейронов (может стоит больше?) на скрытом слое и два на выходном.

Насколько такая архитектура будет "не скупа"?!
Нормальный ли подход, когда в выходном слое используется 2 нейрона, которые будут перебирать бинарные комбинации (00, 01, 10, 11) и на основе них выдавать один из диагнозов?

[ivodopyanov]

snegirev_news, со скрытым слоем стоит поиграться. Современные CPU легко отработают и 32, 64, 128 нейронов. Размер выходного слой лучше делать равным количеству классов = 4, и применять функцию активации softmax + функцию потерь log loss для множества классов (она же crossentropy).