Проблемы построения байесовских сетей для оценки кредитоспособности?

Question

[SvetlanaIG]

привет!

мне нужно обосновать применение нечеткой логики для построения экспертной системы по оценке кредитов.
продолжительное время пытаюсь разобраться в байесовских сетях, а самое главное найти обоснование, что они не очень подходят для оценки кредитоспособности.

пока нашла такие проблемы:
- байесовские сети моделируют зависимости в исследуемом процессе
- каждой переменной БС устанавливается распределение вероятностей. это Np-сложная задача. Ведущая к возникновению проблем: трудозатратно введение вероятностей, большой объем хранения

В 1994 г. Коско доказал теорему о нечеткой аппроксимации: Любая математическая модель может быть аппроксимирована (с различной степенью точности) с помощью системы нечеткой логики
как бы ее прикрутить к обоснованию возможности применения нечеткой логики вместо БС

благодарю за комментарии и помощь

Answer 1

[Dimonchik]

- байесовские сети моделируют зависимости в исследуемом процессе

а скоринг это не суммирование завимостей? ))

как бы ее прикрутить к обоснованию возможности применения нечеткой логики вместо БС

просто постройте модель и покажите что она эквивалента байесовской,
можете для основных параметров = их там десяток: пол, возраст, место, доход, занятость, супруг, имущество

Comments

[SvetlanaIG]

скоринг не объясняет природу возникновения просрочки, а лишь выделяет социально-экономические характеристики тесно связанные с просрочкой. в то время как эксперт может объяснить, почему случилась просрочка

[Dimonchik]

да лан
там всего две причны: забыл и денег нет, зачем тут эксперт?

[SvetlanaIG]

Dimonchik, тогда чем хороши в этом случае БС для оценки кредитоспособности, чтобы предсказать толи забудет, толи денег не будет у конкретного заемщика?
и разве скоринг дает ответ что случилось у всех предыдущих заемщиков, которые вышли на просрочку?

[Dimonchik]

для банка не нужно знать что случилось, достаточно поменять коэффициенты по профилю юзера и переобучить скоринг, понятно что есть проекция на эконом ситуацию, now, о чем заемщики забывают , ища почему же им отказали если раньше другие дали за то же самое

[SvetlanaIG]

Dimonchik, и как производится переобучение? что сообщить системе, о том кто попал на просрочку, чтобы система приняла правильное решение о том, что именно эти "характеристики" привели к просрочке?
в чем в данном случае будет проблема применения БС? какие вершины менять а какие оставить независимыми с т.з. влияния на кредитоспособность?

[Владимир Коротенко]

SvetlanaIG, то вам расскажут коллекторы по результату обзвона.
по мне частые причины

потеря работы
распиздяйство
кризис
смерть

[Dimonchik]

то сообщить системе, о том кто попал на просрочку,

мы точно понимаем что обсуждаем? просрочка от конкретного ИНН с конкретным набором параметров
по группе параметров - массив инн, дальше исключением , формализация гипотезы, проверка

[SvetlanaIG]

Владимир Коротенко, как это все применять в БС?

[Владимир Коротенко]

SvetlanaIG, у вас есть модель, и есть веса, что то пошло не так и коллектор выясняет что. Вы же вносите в эту модель сведения.

Это кстати хорошо описано в рассказе
pelevin.nov.ru/rass/pe-paint/1.html

Первым результатом соглашения было то, что резко подскочила стоимость
оборудования для пэйнтбола. Владельцы двух магазинчиков, где продавались ружья и
краска, сделали состояние за две недели. Их одуревшие от счастья рожи показали
все телеканалы, а газета «Известия» в этой связи сделала осторожный
прогноз о начале долгожданного экономического бума. Правда, коммерсанты вскоре
разорились, потому что на все вырученные деньги закупили огромное количество
используемого в пэйнтболе снаряжения — масок, комбинезонов и щитков, на которые
совсем не возникло спроса. Но об этом газеты не писали.

[Dimonchik]

SvetlanaIG, прямо и применять - это же все известные апостериорные значения

[SvetlanaIG]

Владимир Коротенко, на сколько я знаю задача коллектора собрать долги а не выяснять почему не отдаете взятое

[SvetlanaIG]

Dimonchik,

по группе параметров - массив инн, дальше исключением , формализация гипотезы, проверка

не могли бы Вы развить мысль, уж очень не понятно как на основе массива данных формализовать гипотезу

[Владимир Коротенко]

SvetlanaIG, это поверхностно. У них своя CRM где каждый звонок фиксируется, есть фиксированный список причин неплатежей, поле для повторной встречи, статистика выхода на связь, пометки по взаимодействию.

В общем система довольно сложная и директор таки получает сводный анализ по многим параметрам.

Я как то работал в одной конторе и консультировал другую.

[SvetlanaIG]

Владимир Коротенко,

есть фиксированный список причин неплатежей

как это учитывается при выдаче новых кредитов другим лицам?

статистика выхода на связь, пометки по взаимодействию

ну вежливо разговаривает, всегда снимает трубку и что? как это его характеризует с точки зрения порчи кредитной истории и самое главное влияния на оценку кредитоспособности других потенциальных заемщиков?

[Dimonchik]

SvetlanaIG, н

е могли бы Вы развить мысль, уж очень не понятно как на основе массива данных формализовать гипотезу

можем долларов за 200 , до 3х часов

[Dimonchik]

, всегда снимает трубку и что?

снимает трубку, платит быстро, не попадает в ох*евшие, там тоже не растекаются - три критерия: быстро, перекредит, злостный - всё

[SvetlanaIG]

Dimonchik, давайте здесь

[SvetlanaIG]

Dimonchik, как эту инфу использовать для оценки других заемщиков? это же все частный случай. и как БС здесь увязать?

[Dimonchik]

SvetlanaIG, youmoney подойдут?

[SvetlanaIG]

Dimonchik, да, я могу и бесплатно и даже никуда не выходя, хабр вполне подходит для дискуссии

[Dimonchik]

SvetlanaIG, оки )

[Dimonchik]

SvetlanaIG, кстати, раз уж таки можете
не откажите в любезности, не проигнорируйте вопрос в самом начале

просто постройте модель и покажите что она эквивалента байесовской,

[SvetlanaIG]

Dimonchik, так все же возвращаясь к Вашей фразе

по группе параметров - массив инн, дальше исключением , формализация гипотезы, проверка

как из массива творить гипотезу?

[SvetlanaIG]

Dimonchik,

просто постройте модель и покажите что она эквивалента байесовской

как показать эквивалентность если в одном случае параметры определены вероятностно, а в моем функциями принадлежности. вывод строится в одном случае на основе НЛВ, а в другом по формуле Байеса.
ума не приложу как решить эту задачу

[Владимир Коротенко]

SvetlanaIG, Хорошо характеризует. По причине того что бизнес оплачивал это в размере 3000$ в месяц для 4 разработчиков (каждому).

На основе этих данных строились и находили подтверждение гипотезы.
Первоначально вообще был эксель который после заполнения высвечивал зеленую или красную кнопку.

Через 4 года это выросло в симпатичное приложение которое по внутренним метрикам повысило возвращаемость на ~12%. И скорость обслуживания увеличилась на 60%

[SvetlanaIG]

Владимир Коротенко, хочется понять конкретику

есть фиксированный список причин неплатежей

как это учитывается при выдаче новых кредитов другим лицам? или для чего вообще нужны эти пояснения к дефолту?

статистика выхода на связь, пометки по взаимодействию

ну вежливо разговаривает, всегда снимает трубку и что? как это его характеризует с точки зрения порчи кредитной истории и самое главное влияния на оценку кредитоспособности других потенциальных заемщиков?

На основе этих данных строились и находили подтверждение гипотезы.

гипотезы строит эксперт? если уже есть список причин приведших к неплатежу, какая на основе этих данных может быть построена гипотеза?

[Dimonchik]

SvetlanaIG, не читаете совсем что вам пишут? гипотеза строится по массиву заемщиков по которым триггер сработал и не сработал

или вы при скоринге ожидаете итоговую причину неплатежа оценить?

[SvetlanaIG]

Dimonchik, конечно оценить причину не платежа, типа плохая сфера занятости, чтобы в следующий раз клиентам из общепита в пандемию не давать кредиты.
иначе, что именно из массива данных нужно "выделять", чтобы понять как в будущем оценивать новых клиентов?

[SvetlanaIG]

Dimonchik, а массив данных по каждому заемщику это порядка 100 параметров. только вот у всех у кого сработал тригер значения этих параметров будут отличаться и соответственно не ясно как имеющиеся данные структурировать, чтобы сделать прогноз о кредитоспособности будущего клиента

[Dimonchik]

вот вектор успешных заемщиков, вот неуспешных

[SvetlanaIG]

Dimonchik, а что включает вектор? и что с этим вектором делать?

[Dimonchik]

SvetlanaIG, $300

[SvetlanaIG]

Dimonchik, не понятно, какие-то обрывки фраз. и как они соотносятся с БС?

[Dimonchik]

знания должны быть оплачены, если вы не понимаете вектор, то вам нужно передать много знаний

[SvetlanaIG]

Dimonchik, понятие вектора в каком разделе математики?

[Владимир Коротенко]

SvetlanaIG, то уже не наше дело. Владелец бизнеса высчитывал свои метрики, мы либо весы правили либо условия добавляли. На мой взгляд от балды, но все работало

[Владимир Коротенко]

SvetlanaIG, Светлана кстати ваши вопросы уже сильно вышли за границы бесплатных консультаций. Рекомендую обратится к специалистам, с соответствующей оплатой. Могу кстати скинуть контакты, вам всю систему предоставят под ключ. 3 из 5 микрокредитных организаций пользуются именно ей.

[SvetlanaIG]

Владимир Коротенко, то что Вы вносили по результатам обзвона клиентов сведения в систему разве приближает меня к ответу на сформулированный мной вопрос?

[Dimonchik]

SvetlanaIG, а в каком нужно? или вы набор характеристик в вектор переводить не умеете? ))))

[SvetlanaIG]

Dimonchik, у меня вопрос про проблемы использования БС для оценки кредитоспособности

[Dimonchik]

SvetlanaIG, ответ: проблем нет, используется, эффективность доказана, с поправкой на общие экономические события методом изменения начального набора характеристик

вас попросили представить альтернативу, для простоты - по любом набору признаков (хотя бы одному), вы сделать этого не можете,

дальше обсуждение заходит в тупик, потому что говорить нужно о чем-то предметном, с разных точек зрения
на БАйес у вас обоснованной точки зрения нет
на фуззиложик у вас обоснованной точки зрения нет

разговор - the end

[SvetlanaIG]

Dimonchik, вопрос поставлен по другому. если Вы не нашли проблем в применении метода, значит Вы им не пользовались на практике. ИМХО

[Dimonchik]

к вероятностным методам всегда можно приклеить проблему единиченого случая - это подмена понятий, на большом числе примеров (увы, не везде достижимо) отстроенный метод с правильно подобранными коэффициантами работает приемлемо

[SvetlanaIG]

Dimonchik,

правильно подобранными коэффициантами

это называется подгонка решения, когда система работает на обучаемой выборке и выдает пургу на случайных событиях

[Владимир Коротенко]

SvetlanaIG, Реальные кейсы от человека работающего в самых крупных микрокредитных организациях?
Вы вообще можете работать с информацией?
Вам прямо говорят путь развития системы за 4 года, какие изменения вносились в модель скоринга и на основе чего она изменялась.

Светлана вы честно очень наивны.

[SvetlanaIG]

Владимир Коротенко, мне нужна другая информация. меня интересуют проблемы применения БС для оценки кредитоспособности, все остальные кейсы это факультативно, понимаете о чем я спрашиваю?

[Владимир Коротенко]

SvetlanaIG, Проблем нет, они используются и развиваются. Эти системы наиболее хороши для данного класса задач.
Сбоку от них присутствуют сетки в качестве дополнительного источника фактов, но сугубо совещательного.
Формулируйте точнее вопрос если что то вам не понятно.

[SvetlanaIG]

Владимир Коротенко, как же нет, если даже я в теме обозначила часть из них. и откуда взять экспериментальные данные для оценки вероятностей, если каждый заемщик по своему индивидуален?

в разных источниках встречала разную информацию и не поняла, работают БС с неопределенностью или нет?

[Владимир Коротенко]

SvetlanaIG, Вы определитесь вы студент/ученый или инженер/разработчик.

[SvetlanaIG]

Владимир Коротенко, для практика и теория взаимо обогащаются. или Вы по разному ответить планируете? так два варианта будет куда полезнее почерпнуть

[Владимир Коротенко]

SvetlanaIG, Светлана это интеллектуальная собственность клиента. Я вправе разглашать некоторые моменты. Вы можете оценить компетенции и сделать предложение. Я его передам и получу свой процент.
Это нормально.
Но вот так просто дать вам решение ну вы действительно наивны.

[SvetlanaIG]

Владимир Коротенко, т.е. единственное ради чего Вы вступили в диалог, это получить из меня информацию и % от работодателя. я правильно сделала вывод из написанного?

[Владимир Коротенко]

SvetlanaIG, Не путайте просьбу и требование. Я довольно редко даю готовые рецепты. Только ссылки на документацию или общий порядок действий. Если нужно решение под ключ это только за деньги или за %.
Я считаю это справедливым вознаграждением за мое время и мой опыт.

[SvetlanaIG]

Владимир Коротенко, готовое решение - это работающая система, которую Вы мне и пытаетесь продать.
у меня же просьба заключалась в помощи найти проблемы применения БС для оценки кредитоспособности. часть информации привела, , чтобы получить экспертное мнение и расширить эту группу. вместо дискуссии по теме, получается басня "купи баян"

[Владимир Коротенко]

SvetlanaIG, основная проблема в экспертизе, даже на вашем примере.
Вам дали реальный случай, вы даже не поняли как его использовать, хотя бизнес успешно пользуется этим

[SvetlanaIG]

Владимир Коротенко, поясните, как по-вашему, приведенный случай о котором, на минуточку, не известно какие методы анализа данных применялись, позволяет оценить проблемы применения БС? а то я что-то не понимаю ценность полученной информации

основная проблема в экспертизе

экспертизе чего?

[Владимир Коротенко]

SvetlanaIG, в вашем случае Финансово-кредитная экспертиза
основной смысл формализировать знания конкретного человека и путем заполнения простого опросника заменить человека программой и исключить человеческий фактор.
Эксперт же на основе своего опыта и статистики определяет значимые параметры.
Потом эта гипотеза проверяется. Если она работает, то все нормально.

[SvetlanaIG]

Владимир Коротенко, про экспертизу поняла, спасибо за развернутый ответ.
а что с вопросом про БС?

[SvetlanaIG]

Владимир Коротенко, вот и поговорили...

[Dimonchik]

SvetlanaIG, да и так более чем ))))))

[SvetlanaIG]

Dimonchik, поясните, а то можно по разному логику применить

[Dimonchik]

SvetlanaIG, давайте применим: какой смысл пояснять, если это безо всякой отдачи?

[SvetlanaIG]

Dimonchik, а как же удовлетворение от обмена опытом?

[Dimonchik]

SvetlanaIG, ну , все так, и где от вас обмен? ))))) с джунами и непрактиками сильно не поменяешься

[SvetlanaIG]

Dimonchik, так я изложила все что нашла:) если Вы это знали и согласились ок, а дополнить это и будет обменом. чтобы я тоже узнала что-то еще

[Dimonchik]

SvetlanaIG, ну вы же кронкретику просите, а

изложила все что нашла

без конкретики, так "хочу выиграть в казино"

[SvetlanaIG]

Dimonchik, можете в этом стиле изложить несколько пунктов, я с удовольствием почитаю