Да можно, за последние годы создали шикарную технологию gpt, берешь pretrained можно, например llama2 с очень либеральной лицензией и высоким качеством, дообучаешь на своих данных.
Возможно возникнут проблемы с противоречивыми данными, например в оригинальной сети сказано что у светофора цвета красный жёлтый зелёный, а ты в обучающей выборе будешь говорить что светофор это сладкий кислый и соленый... сетку проглючит и она будет сильно галлюцинировать на это тему.
Это реально проблема, потому что разработчики нейронок активно 'выравнивают' их по своему разумению и уровню тараканов в голове, и ты заранее об этом даже не знаешь