Задать вопрос
@Xopollluu_Tal7ok
Студент

Как настроить использование Shell-gpt с локальной моделью mistral:7b-instruct?

Я пишу дипломный проект на тему "Разработка системы управления сетевыми устройствами с использованием искусственного интеллекта и протокола SSH." Задумка следующая: используя большую языковую модель mistral:7b-instruct, которая будет работать в паре с shell-gpt[https://github.com/TheR1D/shell_gpt], научить эту систему подключаться к сетевому оборудованию (и не только) с помощью SSH. Ну и так как shell-gpt нам позволяет выполнять сгенерированные команды прямо в терминале, то и настраивать.

У меня уже есть:
  • Ubuntu 24.04
  • LiteLLM
  • Python
  • shell-gpt
  • mistral:7b-instruct


Ранее я уже настраивал подобную систему в первый раз, но у меня получилось что большая языковая модель для генерации ответов использует ресурсы ЦПУ, а не ГПУ как это нужно, попробовав настроить со старой видеокартой Rx 470 - не вышло, так как нет поддержки технологий. Далее я отправился изучать этот вопрос и пришел к тому, что нужно использовать Nvidia, там даже некоторые серии GTX поддерживают CUDA с вычислительной мощностью 5.0 и выше, что и является требованием для поддержки.

После приобретения 1060 на 6гб, установил драйвера, через команду nvidia-smi показывает что все хорошо, драйвер установлен. Далее уже с помощью ChatGPT я пробовал настроить работу shell-gpt с использованием ресурсов ГПУ, но у меня так и ничего не вышло, ошибка заключается в том, что после нескольких попыток настроек я все сломал(( и теперь даже ChatGPT мне не помог.

Ошибка:

developer@Denis:~$ sgpt "Привет"
Traceback (most recent call last):
File "/home/developer/.local/bin/sgpt", line 5, in
from sgpt import cli
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/__init__.py", line 1, in
from .app import main as main
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/app.py", line 11, in
from sgpt.config import cfg
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/config.py", line 92, in
cfg = Config(SHELL_GPT_CONFIG_PATH, **DEFAULT_CONFIG)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/config.py", line 49, in __init__
self._read()
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/config.py", line 81, in _read
key, value = line.strip().split("=", 1)
^^^^^^^^^^
ValueError: not enough values to unpack (expected 2, got 1)

Когда я пробую делать запрос вижу эту ошибку, причем если явно указывать модель и обращаться не к shell-gpt, а только к mistral, то ответы генерируются. Несколько раз переустанавливал Shell-gpt, уже кучу разных вариантов настройки файла конфигурации по пути (~/.config/shell_gpt/.sgptrc), но безрезультатно.
Так же находил похожие вопросы и проблемы с настройкой в официальном репозитории на GitHub, один человек столкнулся с похожей проблемой, но ему помогло лишь настроить тот самый файл конфигурации, я тоже решил попробовать - но столкнулся с новой ошибкой:
developer@Denis:~$ sgpt --model mistral:7b-instruct "Who are you?"
Traceback (most recent call last):
File "/usr/lib/python3.12/pathlib.py", line 1313, in mkdir
os.mkdir(self, mode)
FileNotFoundError: [Errno 2] No such file or directory: '/.config/shell_gpt/functions'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/usr/lib/python3.12/pathlib.py", line 1313, in mkdir
os.mkdir(self, mode)
FileNotFoundError: [Errno 2] No such file or directory: '/.config/shell_gpt'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/home/developer/.local/bin/sgpt", line 5, in
from sgpt import cli
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/__init__.py", line 1, in
from .app import main as main
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/app.py", line 12, in
from sgpt.function import get_openai_schemas
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/function.py", line 50, in
functions_folder.mkdir(parents=True, exist_ok=True)
File "/usr/lib/python3.12/pathlib.py", line 1317, in mkdir
self.parent.mkdir(parents=True, exist_ok=True)
File "/usr/lib/python3.12/pathlib.py", line 1317, in mkdir
self.parent.mkdir(parents=True, exist_ok=True)
File "/usr/lib/python3.12/pathlib.py", line 1313, in mkdir
os.mkdir(self, mode)
PermissionError: [Errno 13] Permission denied: '/.config'

ChatGPT на это сказал что "программа пытается создать файлы в корневой директории, что недопустимо без прав администратора. Нам нужно заставить программу использовать домашнюю директорию, а не корень."
Посоветовал переустановить shell-gpt, что я и сделал, однако, проблема не решилась.

Может кто сталкивался с такой проблемой, в своем проекте я подробно тоже опишу как бороться с такими ошибками и после документацию выложу в открытый репозиторий на GitHub, чтобы другие тоже смогли решить такую проблему.
  • Вопрос задан
  • 70 просмотров
Подписаться 1 Простой 5 комментариев
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы