Как узнать какая модель используется, не задавая прямых вопросов?
Задача такая - необходимо точно узнать какая модель используется в данный момент с минимальными усилиями. Представим ситуацию, время от времени модели переключаются незаметно для пользователя, как узнать какая модель отвечает конкретно на это сообщение? Я понимаю, невозможно узнать точную модель и её название (поправьте, если можно), поэтому я прошу об одном: Есть 2 модели, одна сильная, другая послабее, как узнать в какой момент времени отвечает модель послабее?
Василий Банников, коли этанол тренировали на других данных, сие не поможет, вероятно.
Полагаю, задача про "черный ящик" — неизвестно, какие конкретно модели внутри и как их тренировали, просто есть интуитивное подозрение, что иногда подсовывают слабую модель, а иногда чуть получше. И ТС хочется обоснованного подтверждения гипотезы.
Ежель под капотом работает Tensorflow serving, то URL запросов содержит в себе название модели. Конечно, выставление этих "концов" в паблик весьма маловероятно, но вдруг? – посмотрите, куда идут браузерные запросы.
придется неслабо поработать.
1) составить список вопросов, как сказали в комментах
вопросы обязательно должны быть характеризующими. то есть основная загвоздка именно в этом - на что ответит 400b и не ответит 8b. Признаки я тебе не выделю, тут нужна и фантазия и матчасть и время
2) собрать датасет, где на каждый вопрос есть несколько вариантов ответов (теоретически чем больше тем лучше) от каждой из сетей (то есть нужно делать это у официального поставщика, а не на том прокси, который тебя по твоему мнению обманывает)
3) "контрольная закупка" раз в "когда-тебе-надо" времени - бинарная классификация.
4) профит
в общем, объективно решение твоей задачи выходит по времени-нервам-прочим ресурсам дороже, тем ежемесячная подписка в течение полугода у любого официального провайдера модели.
