Привет, архитектуры современных LLM достаточно сложны. Если у вас есть доступ к компьютеру с 32 гб рам можете смотреть в сторону lama.cpp. Не все архитектуры могут быть разделены да и модификация фреймворка глубокого обучения это серьезная задача. Так же есть варианты использовать colab или арендовать сервак на runpod.
Если совсем панкухой заниматся то можно просто построить марковскую модель на вашем корпусе текстов и запускаться хоть на ардуине зависит от вашей задачи