Reverse engineering black box ML-модели?

Question

[Иван Мельников]

Имеется в наличии black box ML-модель, заглянуть внутрь мы не можем, но зато можем подавать ей данные на вход и получать от неё ответ.
Вопрос: Есть ли способы и методы воспроизвести внутреннюю структуру данной ML-модели? Ну, или хотя бы создать свою модель с тем же поведением, не воспроизводя внутреннюю структуру? Хотя, первой, конечно же, интереснее и предпочтительнее.

Answer 1

[rPman]

Вам бы с ИИ пообщаться, в отличии от гугла, оно ищет информацию заметно лучше, 'понимая' задачу

Ответ - нет, это невозможно. Если заниматься условно перебором типовых структур, можно попытаться, подавая на вход зашумленные данные, делать какие то выводы о структуре, но только для простых моделей.

Первая же ссылка на статью, она не даст ответ о методиках но там есть ссылка на пример взлома чего то типа персептрона.

p.s. можно создать более сложную модель, которую можно попытаться обучить случайно (и не только, отдельный разговор как этот датасет создавать) сгенерированных входах и выходах взламываемой модели, но стоимость этого процесса будет значительно выше создания исходной.

p.p.s. вот если бы структура модели была известна (точно) то можно даже некоторые веса извлекать (читал что первые слои GPT-шки извлекали)

Ну и есть такое понятие - distilation, если структура модели примерно известна, можно вполне себе не дорого обучить, собственно deepseek так сделали

Answer 2

[Максим Припадчев]

1. Нет нельзя.
2. Тоже нельзя.

Без параметров, и детальной архитектуры ML - модели, ловить нечего.

Для первого случая вообще нет исключений, даже если твой black-box это простая линейна регрессия, такой же выхлоп, может давать куда более сложная модель.

Для второго, в качестве исключения на примитивных взаимоотношениях да.

Answer 3

[Everything_is_bad]

Ну так если есть входящие и выходящие данные, на них и обучай свою "модель". Общий вопрос - общий ответ, да и плюсом не понимание основ ML