Какие посоветуете лучшие доступные LLM, для организации на её базе офисного бота?

Да, в OpenWebUI можно например через ollama или vLLM подключить. В ollama легко ставятся модели с HF, но нужно выбирать именно в формате GGUF, а для vLLM лучше всего формат AWQ. В карточке модели есть кнопка "Use this model", там выбираем ollama или vLLM и появляются команды, чтобы всё быстро развернуть.
Советую ещё у ChatGPT поспрашивать насчет конфигурации vLLM при запуске, там можно очень неплохо оптимизировать.