Нужна ли нейронная сеть для расчёта или нет?

Question

[Aricce]

Насколько я понял из разного рода лекций нейронная сеть используется для распознавания принадлежности, вводим характеристики и она выдает мальчик или девочка(условно), но у меня стоит задача немного иная.
Условно у меня есть таблица статистики вес, пол, возраст сейчас, и т.п. с результатами до скольки человек прожил и на основе этой статистики мне нужно расчитать/предсказать результат(до скольки прожил) нужна ли для этого нейронная сеть вообще? Можете подсказать как стоит решать задачу такого рода?

Answer 1

[xmoonlight]

Не предскажете никак до тех пор, пока не соберёте все факторы смерти. А их порой и врачи не всегда могут предоставить.

Comments

[Aricce]

Смысл моей задачи в том что есть входные данные, в чёрном ящике они расчитывабтся и выдают числовой результат(например поступают 2 и 3, а ответ 12(умножение)) я математической модели не знаю, но собрал статистику входных данных и результатов и зная новые входные данные хочу предсказать хотя бы примерное значение результата, может быть вы подскажете с помощью чего такую задачу можно решить?

[xmoonlight]

Aricce, с помощью поиска относительного среднего расстояния.
Пример: 3,5,7 и 3,5,8
(4+5)/2= 4.5
4.5/2 = 2.25
Общая модель: 3, 5.25, 7.5

[#]

Aricce, пофантазируем - внезапно у вас есть входные данные для города Хиросима, с 1935, по 1945 (до бомбардировки), вы обучаете сеть, делаете прогноз для ее жителей... а на 6 августа 1945 года в 08:15 по местному времени этот прогноз превращается в фуфло

.. более реально на сегодняшний день - коронавирус у вас учтен? а как?.. а риски землетрясений?, цунами? тупых пожаров?, риски смертей в ДТП?

[xmoonlight]

#, самое главное - это то, что автор вопроса не указал явно...
Но мы-то - видим цель...

[Aricce]

Я уже сам пожалел что привел такой пример)

[xmoonlight]

Aricce, )))

Answer 2

[longclaps]

Нет.

Comments

[Aricce]

А можете посоветовать что-нибудь для решения такого рода задач?

[Иван Шумов]

Aricce, подбрасывание монетки в данном случае куда более точное предсказание

[longclaps]

Иван Шумов, верно, это и подразумевалось.

[Сергей П]

вообще-то нейронку применить можно куда угодно. Вон люди свою биологическую применяют на каждом шагу. Ошибка - это вполне измеримая и контролируемая штука. Вполне можно хорошо учитывать корреляции с полом, индексом массы тела...

Answer 3

[Сергей Соколов]

Как вариант, можно попробовать построить модель и на НС.

К примеру, одно из первых учебных заданий на Kaggle, это на основе данных пассажиров Титаника спрогнозировать, выжил пассажир или нет.

От вашей задачи отличается только финальным слоем, где с Титаником получают бинарный ответ да/нет, а вам понадобится некий коэффициент, означающий возраст.

Для более ли менее достоверной модели понадобится оччень много данных, и в них должна действительно присутствовать осмысленная зависимость.

Answer 4

[Иван Шумов]

Для данной задачи нейросеть не потребуется по тому что у вас в принципе отсутствуют показатели, отвечающие за срок жизни. вероятность ошибки будет невероятно высока. Даже при статистическом анализе вы почти 100% ошибетесь с результатом.

Для пониманий - ML и нейросети предназначены для предсказания результата на основе релевантных проверенных данных, которые были проверены и подготовлены особым образом для создания соответствующей модели. Если мы сейчас возьмем указанные вами данные то узнаем что люди в среднем весе одного возраста среднего роста умирают в диапазоне 1 до 120 лет. Дисперсия будет огромная, нейросеть не сможет построить адекватную модель.

PS. Цифры утрированы просто для показания бессмысленности

Comments

[Aricce]

Спасибо за развёрнутый ответ, смысл моей задачи в том что есть входные данные, в чёрном ящике они расчитывабтся и выдают числовой результат(например поступают 2 и 3, а ответ 12(умножение)) я математической модели не знаю, но собрал статистику входных данных и результатов и зная новые входные данные хочу предсказать хотя бы примерное значение результата, может быть вы подскажете с помощью чего такую задачу можно решить?

[Иван Шумов]

Aricce, повторюсь - данная задача решается только с помощью подбрасывали монетки. Причины для этого абсолютно физические - на срок жизни влияет примерно 1 миллиард параметров, которые у вас в принципе отсутствуют как класс. Если у вас все еще стоит подобная задача то максимум что можно сделать - простейшую процедуру кластеризации по текущим характеристикам. Обнаруженные результаты усредняете и создаете простейший алгоритм с некоторыми if-else или даже какую-то формулу на глаз, но с большей долей вероятности вы должны получить равномерную дисперсию и зависимости не будет. Именно поэтому вас и говорится про подбрасываете монетки

[Aricce]

Иван Шумов, спасибо ещё раз за ответ, но, возможно, вы меня не совсем поняли, предположим есть формула( (x*y) /z), но я её не знаю, но знаю что при x=5,y=6,z=2 результат будет 2, и моя задача при вводе xyz получить результат

[Иван Шумов]

Aricce, я вас прекрасно понимаю. Я просто утверждаю что формула, которую вы пытаетесь в итоге получить состоит из не учтенных вами переменных, а из имеющихся невозможно ее получить. Чтобы получить формулу, вне зависимости от способа получения вам требуется ярко выраженная зависимость результата от характеристик и их комбинаций. В вашем случае если вы получите зависимость это будет означать только то что у вас не валидные данные. Просто на секунду - показатели возраста больше зависят от таких показателей как год рождения, страна рождения, сроков проживания в разных странах, этнической составляющей, вида активной жизни, дохода, регулярности обследований, наличия генетических проблем и тому подобных вещей. И их миллиард.

Вывести формулу, которую вам охота узнать из указанных вами параметров технически невозможно. Что еще вам не ясно? Тут даже создать более-менее корректную модель для ML невозможно

[Сергей П]

Иван Шумов, вы слишком категоричны в суждениях, сударь.
Там, где можно применить кластерный анализ, вполне справятся и нейронные сети.
Вы сильно приуменьшаете значимость корреляций, а автор нигде не говорил о параметрах допустимой ошибки в прогнозе.
Вы верно подметили, что дата смерти - это, в общем-то, случайная величина, но у этой случайной величины есть свои сложные корреляции, есть мат-ожидание и дисперсия.
Кластерный анализ не позволит уловить сложные скрытые зависимости. Автор же не предоставил полный перечень данных, которые у него есть.
Может быть там среди них есть что-то, что сильно коррелирует с некоторыми группами риска: курение, профессия, хобби... Если у автора действительно большой обучающий размеченный датасет и невысокие требования к точности, то нейронка вполне может показать много сюрпризов и неожиданных корреляций.

[Aricce]

Сергей Паньков, спасибо за развёрнутый ответ, в теории у меня временной ряд, но на практике сбор данных я поставил так, что даже вырвав из ряда строку с параметрами она будет исчерпывающий для анализа(по моему мнению) задача вовсе не стоит в расчёте даты смерти, это я для примера, а в нахождении(прогнозирования) по заданному ряду числовых характеристик результата чужого чёрного ящика, например, как я писал выше "предположим есть формула( (x*y) /z), но я её не знаю, но знаю что при x=5,y=6,z=2 результат будет 2, и моя задача при вводе xyz получить результат" может быть вы подскажите в каком направлении копать?

[Сергей П]

Aricce, что-то вы непонятно чего хотите.
Формулы даты смерти, даже примерной формулы, не бывает. Существуют корреляции разного уровня, например мужчины в среднем живут меньше. Есть корреляция с большими выбросами в росте (карлики и люди сильно больше 2 метров роста очевидно проживут меньше в среднем) из-за проблем со здоровьем. Могут быть корреляции более сложные. Мне трудно сочинить для вас хороший пример, поэтому давайте пофантазируем на тему танкистов. Вроде как танкистов подбирали по малому росту и если есть какая-то корреляция рода войск с продолжительностью жизни, то эта корреляция будет и с ростом тоже.
И таких сложных корреляций очень много, мы не можем учесть все, потому что они не очевидны. А вот нейронная сеть может сузить разброс в некоторых случаях на основе каких-то многоуровневых неявных корреляций.
Но нужна огромная выборка для обучения. Речь идёт о сотнях тысяч и миллионах единиц размеченных данных.

Нейронная сеть не обязательно выдаёт дискретный сигнал, так что РЕШАТЬ вашу задачу нейросетями можно. Но РЕШИТЬ удовлетворительно -- не факт.

Есть такое понятие, как аппроксимация. У вас есть набор параметров (читай аргументов), и значение какой-то неизвестной функции. И таких кортежей у вас много-премного. Можно попробовать аппроксимировать ваше N-мерное многообразие какой-то функцией. Для простых плоских случаев это может быть, например, сплайн, или степенная функция, когда вы подбираете её коэффициенты и степени так, чтобы она максимально близко ложилась на ваше многообразие по среднеквадратичному отклонению.
Для больших размерностей ситуация сильно осложняется. Мне кажется это не ваш путь, даже если у вас в голове этот пример выглядит как адекватный первоначально поставленной задаче.

Резюмирую.

• Если у вас не миллионы данных - забейте. Вам нейронки не помонгут.
  
• Если вы не представляете какие требования и ограничения у вас по параметром ошибки в прогнозе, то, действительно, подбрасывайте монетку. Какая разница, если вы сами не знаете чего хотите?
  
• Экспериментируйте. Если нейронки научили истреблять шакалов с довоенных фотографий и скоро научат снимать мультики и ставить балет на основе наскальной живописи,то ваша задача не выглядит как совсем уж бред. Правда.
  
• Подтянитесь в математике. Нужно понимать что такое случайная величина, дисперсия, мат-ожидание, нормальное распределение.
  
• Прочитайте Криптономикон. В этой задаче он вам не поможет, но чтиво захватывающее и может повернуть мозг в интересное русло.
  

[Aricce]

Сергей Паньков, сказал же пример про смерть на свою голову) но все равно спасибо)

[Сергей П]

Aricce, так других примеров больше адекватных не предложили. Или я пропустил?
Узнать какая там функция - это совсем другое. Давайте еще примеров, а-то не ясно. Сходи туда - не знаю куда.

Answer 5

[Владимир Коротенко]

Да, нет, может быть. (С)

Хорошая подборка получилась, прям как слоган из одного фильма