Задать вопрос
  • Какое железо подобрать для локального тестирования LLM (ChatGPT На ПК)?

    @mckokos
    ОЗУ побольше
    Карты только NVIDIA. Там два типа драйверов. Ставить неигровой драйвер. Не помню как он называется. Но стек знаний у меня вроде такой же, так что разберетесь.
    Все современные фреймворки LLM работают с CUDA. И выбирать среди марок не ту которая под игры, а ту у которой побольше локальной памяти. Если хотите хорошую модель то лучше смотреть от 24ГБ
    Я в свое время выбрал 3060 с 12ГБ вместо 3060ti с 8ГБ чтобы кино смотреть. Пригодилось.
    Я всё пытаюсь собрать локального кодера на своем амд7700bx + 24гб ОЗУ + 3060-12ГБ
    У Вас что-нибудь получилось? :)
    Ответ написан
    Комментировать
  • Есть аналоги aws и google cloud для локальной машины?

    @mckokos
    Я перебрал кучу фреймворков. Под моё требование наличия вебсерча (потомучто большинство локальных моделей от 23го года), mcp, rag и бесплатности не подошли lmstudio, anuthingllm и т.д не подошли. Сейчас тестирую flowise. Пока могу только дать совет: ставьте докерверсии ollama и flowise, ато я например забил свой комп локальными версиями и теперь не знаю как все почитстить. Сервак стоит у друга в другом городе. Буду наверное просить переставить винду.. Если что получится отпишусь. Сейчас отвлёкся и пытаюсь на пайтон с фастапи что нибудь соорудить при помощи дипсик и гпт. Тоже копаю короче. Сбер выпускает гигастудио. Отправил запрос на тестирование, пока не отвечают. Наверное только для бизнеса дают.
    Ответ написан