Евгений Орлов

Без рага эта задача адекватно не решается, тк несколько тысяч страниц текста - это большой объем информации, который просто не влезет в контекстное окно любой модели, которую можно поднять самостоятельно
Соответственно, нужно прорабатывать:
- то как перегнать весь материал например в markdown
- как нарезать материал (чанкование или полуавтоматически или еще какие-то стратегии)
- какую модель использовать чтобы векторизовать материал
- какие-то еще вещи, связанные с улучшением рага

Раг при хорошей настройке позволяет добиться качества 90-95% точности ответов

По поводу поднятия сетки на арендуемом сервере:
в значительной степени это вопрос бюджета, тк чем больше сетка, тем больше нужно памяти GPU, чтобы она работала
Например, для поднятия deepseek r1 нужно 1.5 тб видеопамяти
при том, что популярная видюха, которую можно найти в клауде - это Nvidia H100 с 80гб памяти за ... тысяч 300 р в месяц стоимости аренды, на 1.5тб сколько будет стоить сервер предлагаю пересчитать самостоятельно :)
Сетки начального уровня с 8млрд параметров можно запустить на чем то с 24гб видеопамяти, но и качество ответов будет ниже (даже при условии, что раг будет идеально подтягивать информацию)

Стоит понимать, что это без интернета работать не будет, тк вычисления проводятся не на очках.
А значит это происходит на стороне сервера производителя и стоит проверять доступ из РФ, тк эта фича может быть банально заблокирована территориально

Вопрос в меньшей степени лежит на стороне выбора модели (хотя это тоже), тк ни одна модель сейчас не способна взять одну большую задачу и решить ее от начала и до конца. Даже чатгпт и прочие большие коммерческие модели с наилучшим качеством ответов.
Основное - это выделить четкие границы, в которых будет проводиться работа
Если составляем документ, то что на вход? Какого формата? Какие этапы обработки? Что на выход?
И так по любой вашей инициативе. Лишь разложив процесс на мелкие составляющие и максимально упростив каждый из этапов для ЛЛМ, уже можно пробовать собрать пайплайн, который с бОльшей вероятностью приведет к успеху.
Также, крайне важным составляющим успеха является технология Structured Output, которая помогает доставать из модели более детерминированные ответы и улучшать ответы даже маленьких моделей за счет того что мы можете направлять модель в какую сторону ей нужно думать