Сколько нейронов и связей у нейросети Stable Diffusion или ChatGPT?
В теории нейросетей пишут, что нейросети состоят из слоев, а каждый слой из нейронов. Но сколько конкретно нейронов есть у StableDiffusion? Понятно, что сама система состоять из нескольких нейросетей, которые состоят из слоев. Интересует общая численность нейронов, количество связей с другими нейронами либо у всей нейросети, либо у той, что отвечает за отрисовку изображения.
Необязательно Stable Diffusion, можно Midjourney, ChatGPT и т.д. Важное условие -- это должна быть гиперсеть, т.е. на жестком диске она могла занимать 2-4 Гб. Та же SD на диске занимает 2+ Гб, рядом с ней лежат еще несколько нейросетей размером 2-4 Гб, но это не дает понимания, сколько там нейронов и связей между нейронами.
Написано, что чат на основе GPT-3.5, а про GPT-3 известно, что она на трансформерах, параметров (связей) у неё 175 миллиардов:
"The architecture is a standard transformer network (with a few engineering tweaks) with the (back then) unprecedented size of 2048-token-long context and 175 billion parameters (requiring 800 GB of storage)."
Спасибо)
в среднем 4байта на параметр.
Пусть будет 100 связей на нейрон, тогда нейронов 1,75 млрд. Это сопоставимо с капибарой, у нее 1,6 млрд нейронов.
Вообще, нейроны у животных могут иметь до 20 тыс связей на нейрон. Это 8,75 миллионов у нейросети нейронов или от мозга таракана (1 млн нейронов) до мозга лягушки (16 млн нейронов)
Соответственно, GPT-3 должна по интеллекту сопоставима с тараканом, лягушкой или даже с капибарой.
Для взрослого человека характерно 16 млрд нейронов. От 16 до 2 000 нейросетей размером с GPT-3 должны по интеллекту быть сопоставимы с человеческим.
При рождении мозг младенца имеет 100 млрд нейронов.
Что как бы намекает насколько [не]эффективно работают нейросети и насколько они близки к человеческим параметрам.
Это скорее всего неправильно поставленный вопрос. У него такой-же полезный смысл как например спросить сколько молекул вещества в автомобиле. Вы сможете почерпнуть какую-то пользу из этого? Я - нет. Мы ничегошеньки не узнаем о свойствах автомобиля и его устройстве.
Более ценно узнать архитектуру GPT. Памятуя а том что классические НС работают с вещественными числами (ага!) то нам нужно нечто, что работает с natural languages. Без этого input невозможен.
Аналогия: у автомобиля есть определенное строение, а есть масса автомобиля, масса полезной нагрузки.
Для расчета эффективности расхода бензина достаточно знать расход бензина на 100км, полезную и общую массу авто, что позволит вычислить расход бензин на кг полезной массы, перемещенной на 1 км.
Соответственно, зная количествой нейронов нейросети, можно грубо сравнивать, например, с количеством нейронов муравья.
У муравья 500к нейронов. Пусть связей в 100 раз больше, т.е. 50 млн связей. Если на одну связь 64-бит число=8байт, то всего нейросеть муравья займет 400 млн байт или 381 Мб.
SD использует в районе 6-8 гб видеопамяти, сама сетка под 2-4 гб. Т.е. нейросетка на порядки более прожорлива, чем муравей. И непонятно, сравнивать ли нейросетку с муравьем или с более крупными живыми существами?
если вся нейросеть в файле - тупо веса, а связей те же 100 на нейрон и 8 байт значение, тогда 2-4 гб = 268-536 млн связей или 2,7-5,4 млн нейронов. Как 2-5 пчелок, с их 1млн нейронами.
В тоже время можно считать и обратную задачу - сколько места займет на диске нейросеть по подобию мозга муравья или пчелы. Умножить на количество особей и можно симулировать рой)
Официальная архитектура GPT-3.5 (также известная как ChatGPT) включает в себя 175 миллиардов параметров. Однако, OpenAI не раскрывает конкретное количество нейронов или слоев в архитектуре модели, поэтому точное количество нейронов и связей неизвестно. Значительная часть параметров распределена по слоям и блокам, которые включают трансформерные слои и механизм самовнимания. Только читал об этом в книге про ChatGPT
