Задать вопрос
@Servgpu_API4545
python

Как уместить десятки контейнеров на одном сервере с RTX 4090 (24ГБ), чтобы хватило памяти на KV-кэш, буфер и активации для ии?

Я думаю над тем чтобы арендовать сервер RTX 4090 , настроить три готовых среды для работы (Jupyter Notebook, VS Code), для тестов и общения с ии без кода - OpenWebUI. Скажите, есть ли какие то более мощные фишки (кроме выгрузки модели в RAM и LoRA дообучением) для того чтобы уместить множество контейнеров на один сервер с 24 ГБ?
  • Вопрос задан
  • 15 просмотров
Комментировать
Подписаться 1 Средний Комментировать
Помогут разобраться в теме Все курсы
  • Академия Эдюсон
    Python-разработчик + ИИ
    9 месяцев
    Далее
  • Нетология
    Python-разработчик: расширенный курс + нейросети
    12 месяцев
    Далее
  • ProductStar × РБК
    Профессия: Python-разработчик + ИИ
    8 месяцев
    Далее
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы