@IvanTamerlan

Сколько нейронов и связей у нейросети Stable Diffusion или ChatGPT?

В теории нейросетей пишут, что нейросети состоят из слоев, а каждый слой из нейронов. Но сколько конкретно нейронов есть у StableDiffusion? Понятно, что сама система состоять из нескольких нейросетей, которые состоят из слоев. Интересует общая численность нейронов, количество связей с другими нейронами либо у всей нейросети, либо у той, что отвечает за отрисовку изображения.
Необязательно Stable Diffusion, можно Midjourney, ChatGPT и т.д. Важное условие -- это должна быть гиперсеть, т.е. на жестком диске она могла занимать 2-4 Гб. Та же SD на диске занимает 2+ Гб, рядом с ней лежат еще несколько нейросетей размером 2-4 Гб, но это не дает понимания, сколько там нейронов и связей между нейронами.
  • Вопрос задан
  • 1832 просмотра
Решения вопроса 1
@AlexSku
не буду отвечать из-за модератора
Написано, что чат на основе GPT-3.5, а про GPT-3 известно, что она на трансформерах, параметров (связей) у неё 175 миллиардов:
"The architecture is a standard transformer network (with a few engineering tweaks) with the (back then) unprecedented size of 2048-token-long context and 175 billion parameters (requiring 800 GB of storage)."
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
mayton2019
@mayton2019
Bigdata Engineer
Это скорее всего неправильно поставленный вопрос. У него такой-же полезный смысл как например спросить сколько молекул вещества в автомобиле. Вы сможете почерпнуть какую-то пользу из этого? Я - нет. Мы ничегошеньки не узнаем о свойствах автомобиля и его устройстве.

Более ценно узнать архитектуру GPT. Памятуя а том что классические НС работают с вещественными числами (ага!) то нам нужно нечто, что работает с natural languages. Без этого input невозможен.
Ответ написан
NickDevis
@NickDevis
веб-разработчик on head до footer
Официальная архитектура GPT-3.5 (также известная как ChatGPT) включает в себя 175 миллиардов параметров. Однако, OpenAI не раскрывает конкретное количество нейронов или слоев в архитектуре модели, поэтому точное количество нейронов и связей неизвестно. Значительная часть параметров распределена по слоям и блокам, которые включают трансформерные слои и механизм самовнимания. Только читал об этом в книге про ChatGPT
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы