python -m venv /путь/для/хранения/python/окружения
pip install vllm
~/.python.env/vllm/bin/python3 -m vllm.entrypoints.openai.api_server --api-key XXX_ПридумайТокен_XXX --port 12345 --model gpt-3.5-turbo-instruct --tensor-parallel-size 2 --max-model-len 31088 --enforce-eager --quantization fp8
без подключения людей имеющих доступ к закрытому контуру.
не видел ничего лучшего, чем когда то был делфи для этой задачи. Два тычка и у вас готовая форма с коннектом к базе.WinForms и его идеологический потомок WPF для microsoft windows .net, на столько легкого способа разработать прилоежние баз данных я не видел ни до ни после (WPF у меня глючил, мне не понравилось что прямо на пустом месте, при создания приложения примера по гайду от майкрософта, я бы предлагал WinForms но его почему то многие считают жутким легаси и недостойным к использованию)