Я пишу дипломный проект на тему "Разработка системы управления сетевыми устройствами с использованием искусственного интеллекта и протокола SSH." Задумка следующая: используя большую языковую модель
mistral:7b-instruct, которая будет работать в паре с shell-gpt[
https://github.com/TheR1D/shell_gpt], научить эту систему подключаться к сетевому оборудованию (и не только) с помощью SSH. Ну и так как shell-gpt нам позволяет выполнять сгенерированные команды прямо в терминале, то и настраивать.
У меня уже есть:
- Ubuntu 24.04
- LiteLLM
- Python
- shell-gpt
- mistral:7b-instruct
Ранее я уже настраивал подобную систему в первый раз, но у меня получилось что большая языковая модель для генерации ответов использует ресурсы ЦПУ, а не ГПУ как это нужно, попробовав настроить со старой видеокартой Rx 470 - не вышло, так как нет поддержки технологий. Далее я отправился изучать этот вопрос и пришел к тому, что нужно использовать Nvidia, там даже некоторые серии GTX поддерживают CUDA с вычислительной мощностью 5.0 и выше, что и является требованием для поддержки.
После приобретения 1060 на 6гб, установил драйвера, через команду nvidia-smi показывает что все хорошо, драйвер установлен. Далее уже с помощью ChatGPT я пробовал настроить работу shell-gpt с использованием ресурсов ГПУ, но у меня так и ничего не вышло, ошибка заключается в том, что после нескольких попыток настроек я все сломал(( и теперь даже ChatGPT мне не помог.
Ошибка:
developer@Denis:~$ sgpt "Привет"
Traceback (most recent call last):
File "/home/developer/.local/bin/sgpt", line 5, in
from sgpt import cli
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/__init__.py", line 1, in
from .app import main as main
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/app.py", line 11, in
from sgpt.config import cfg
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/config.py", line 92, in
cfg = Config(SHELL_GPT_CONFIG_PATH, **DEFAULT_CONFIG)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/config.py", line 49, in __init__
self._read()
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/config.py", line 81, in _read
key, value = line.strip().split("=", 1)
^^^^^^^^^^
ValueError: not enough values to unpack (expected 2, got 1)
Когда я пробую делать запрос вижу эту ошибку, причем если явно указывать модель и обращаться не к shell-gpt, а только к mistral, то ответы генерируются. Несколько раз переустанавливал Shell-gpt, уже кучу разных вариантов настройки файла конфигурации по пути (
~/.config/shell_gpt/.sgptrc), но безрезультатно.
Так же находил похожие вопросы и проблемы с настройкой в официальном репозитории на GitHub, один человек столкнулся с похожей проблемой, но ему помогло лишь настроить тот самый файл конфигурации, я тоже решил попробовать -
но столкнулся с новой ошибкой:
developer@Denis:~$ sgpt --model mistral:7b-instruct "Who are you?"
Traceback (most recent call last):
File "/usr/lib/python3.12/pathlib.py", line 1313, in mkdir
os.mkdir(self, mode)
FileNotFoundError: [Errno 2] No such file or directory: '/.config/shell_gpt/functions'
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/usr/lib/python3.12/pathlib.py", line 1313, in mkdir
os.mkdir(self, mode)
FileNotFoundError: [Errno 2] No such file or directory: '/.config/shell_gpt'
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/home/developer/.local/bin/sgpt", line 5, in
from sgpt import cli
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/__init__.py", line 1, in
from .app import main as main
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/app.py", line 12, in
from sgpt.function import get_openai_schemas
File "/home/developer/.local/share/pipx/venvs/shell-gpt/lib/python3.12/site-packages/sgpt/function.py", line 50, in
functions_folder.mkdir(parents=True, exist_ok=True)
File "/usr/lib/python3.12/pathlib.py", line 1317, in mkdir
self.parent.mkdir(parents=True, exist_ok=True)
File "/usr/lib/python3.12/pathlib.py", line 1317, in mkdir
self.parent.mkdir(parents=True, exist_ok=True)
File "/usr/lib/python3.12/pathlib.py", line 1313, in mkdir
os.mkdir(self, mode)
PermissionError: [Errno 13] Permission denied: '/.config'
ChatGPT на это сказал что
"программа пытается создать файлы в корневой директории, что недопустимо без прав администратора. Нам нужно заставить программу использовать домашнюю директорию, а не корень."
Посоветовал переустановить shell-gpt, что я и сделал, однако, проблема не решилась.
Может кто сталкивался с такой проблемой, в своем проекте я подробно тоже опишу как бороться с такими ошибками и после документацию выложу в открытый репозиторий на GitHub, чтобы другие тоже смогли решить такую проблему.
Средний
Средний