Подобную задачу решаю успешно в своей компании установкой локально соответствующих LLM (через docker tgi, vllm). Также написал extention для основных IDE (vscode, jetbrains), которые могут использовать как локальные .gguf-модели, так и работать с локально поднятыми через API.
Ваша задача приватности решается при этом абсолютно.