Использует ли кто-нибудь решения на основе решения OPEN AI в промышленных системах для российского рынка?

Question

[antonabramoff]

Добрый день сообщество!
Использует ли кто-то на решения от OPEN AI в больших промышленных решениях для российского рынка?
Вопрос связан с санкционными рисками. Какие есть инструменты снизить риски, что в один прекрасный момент твой токен отключат и все решение которое ты создавал не перестанет работать?

Comments

[Adamos]

Прописать в договоре о поставке и внедрении большого промышленного решения пункт: "А если третья сторона, находящаяся в другой юрисдикции, решит чего-нибудь поменять в отношениях с неопределенной группой лиц, то поставщик не виноват, у него лапки. Заказчик согласен разгребать весь этот геморрой сам".
Только шрифт покрупнее.

[antonabramoff]

Adamos, а если все-таки попробовать решить вопрос фундаментально? Без привлечения отсылок на лапоки?)

[Adamos]

antonabramoff, фундаментально - предоставляя бизнесу решение, вы обязаны обеспечить, чтобы работа всех используемых в нем механизмов гарантировалась соответствующими договорами или страховалась возможностью замены. Вот эта халявка для студентов от американской конторки, оседлавшей очередной пузырь, в принципе не может быть основой для каких бы то ни было долгосрочных проектов.
Тем более в условиях, когда лапы спецслужб затекли на рубильниках.

[d'Ivan]

Вопрос звучит как опрос.
Ответ, скорее всего да, чем нет. Несмотря на риски.

[Василий Банников]

Вопрос связан с санкционными рисками. Какие есть инструменты снизить риски, что в один прекрасный момент твой токен отключат и все решение которое ты создавал не перестанет работать?

Риск очевидный, по тому нужно либо не использовать, либо резервировать другими провайдерами.
В России есть YandexGPT, но там качество другое будет совсем.
Ну и ещё есть всякий селфхост

Answer 1

[Евгений]

Советую посмотреть на OpenwebUI, у нее есть openAI-совместимое апи, поэтому встроить ее в существующее приложение не составит труда, также под капотом у нее ollama с сотянми различных моделей. Я советую взять Llama 3.1 8b, запустить это все на своем железе желательно с видюхой не ниже 3090TI.

В таком случае вы застрахуете себя от всех рисков. А качество генерации будет сравнимо с GPT3.5 от OpenAI

Мы в нашей компании именно так и сделали

Answer 2

[d'Ivan]

Зависит от:
1. требований к качеству генерации (ну, и так сойдет или вроде бы неплохо)
2. скорости генерации токенов (черепашка, которая двигается по-быстрее или по-медленнее)
3. наличия вычислительных мощностей (обычный десктоп или кластер серверов). Локально кушает электричество «будь здоров».

Для кого-то достаточно локальной БЯМ. Для других - неприемлемо, по разным критериям.

Какие есть инструменты снизить риски, что в один прекрасный момент твой токен отключат и все решение которое ты создавал не перестанет работать?

Не класть все яйца в одну корзину.
Иными словами, использовать разных провайдеров, чтобы иметь возможность с легкостью переключаться между ними.