@riZe_0

Возможно ли написать свой chatGPT и как?

В следующем году заканчиваю ВУЗ, и думал в качестве темы для диплома взять что-то связанное с chatGPT и сделать какую-нибудь простенькую реализацию. (Понимание нейронных сетей есть, но не скажу, что оно глубокое. С машинным обучением хорошо знаком)
Однако когда я начал гуглить обо всем этом, не смог найти какой-либо толковой информации, помимо того, что это self-supervised learning модель, работает на архитектуре transformer. Остальное - инструкция как писать промпт.
Самой реализации, или хотя бы подобного, я тоже не нашел.
Отсюда вопрос к людям, которые хорошо в этом разбираются. Возможно ли за год, или вообще, просто написать что-то похожее на chatGPT? И если да, то в какую сторону начать копать и что изучать?
  • Вопрос задан
  • 257 просмотров
Решения вопроса 2
@rPman
Для начала, llm-ки, начинают показывать свойства ИИ (т.е. начинают строить внутри себя модель, которая уже начинает себя как то вести а не просто синтаксически и даже логически обоснованный бредогенератор, т.е. хуже gpt35 если что) - это 10^26 flops вычислений, оценка приблизительная, когда читал про исследования на каких величинах это начинается, погрешность была на пару порядков. Мало того, десктопное железо тут не подходит, там требуется огроменное количество оперативной памяти GPU (про CPU даже не заикайся, на нем даже просто запуск - садомазохизм).

Посчитаю за тебя - одна современная видеокарта 4090 дает 80Тфлопс (даже пусть 100 но так неверно, потому что реалии на пару порядков хуже но проигнорируем это) это 10^14 операций в секунду, т.е. только чтобы однократно обучить одну llm (а это обычно делают много раз, меняя гиперпараметры и обучающие данные) тебе потребуется 10^(26-14) секунд или 10^12 секунд или 31709 лет на одной видеокарте... приобретая чуть больше видеокарт, процесс можно ускорить почти линейно (да там начинаются проблемы уже на тысячах gpu, но они решаются спец-железом, спец-алгоритмами и спец-специалистами, и главное первое и последнее с рынка как коровой слизали крупные компании)... к сожалению эта наиважнейшая и самая крутая технология нашего времени требует минимально для старта десятки миллионов баксов вложений а лучше сотни.

Но если все же хочешь взять готовое, разобраться и предоставить это как ваша работа то пожалуйста, гугл: gpt llm training from scratch detailed guide
первая же ссылка - https://youssefh.substack.com/p/training-gpt-2-fro...
Ответ написан
@RocketMen
Можно рассмотреть тему файтюнинга, тема более реалистичная а самое главное, прикладная. Денег много не нужно, особенно для llama 8b и подобных по размеру моделей.

Тем не менее, по гпт все же есть варианты, можно очень хорошо разобраться тут, по сути посмотрев видео от самого разработчика:
https://www.youtube.com/watch?v=kCc8FmEb1nY
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
@Everything_is_bad
Нет, тебе за год не написать, у тебя нет базовых знаний, максимум что ты осилишь, это переиспользование готовых решений.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы