Вопрос в меньшей степени лежит на стороне выбора модели (хотя это тоже), тк ни одна модель сейчас не способна взять одну большую задачу и решить ее от начала и до конца. Даже чатгпт и прочие большие коммерческие модели с наилучшим качеством ответов.
Основное - это выделить четкие границы, в которых будет проводиться работа
Если составляем документ, то что на вход? Какого формата? Какие этапы обработки? Что на выход?
И так по любой вашей инициативе. Лишь разложив процесс на мелкие составляющие и максимально упростив каждый из этапов для ЛЛМ, уже можно пробовать собрать пайплайн, который с бОльшей вероятностью приведет к успеху.
Также, крайне важным составляющим успеха является технология Structured Output, которая помогает доставать из модели более детерминированные ответы и улучшать ответы даже маленьких моделей за счет того что мы можете направлять модель в какую сторону ей нужно думать
