Спасибо)
в среднем 4байта на параметр.
Пусть будет 100 связей на нейрон, тогда нейронов 1,75 млрд. Это сопоставимо с капибарой, у нее 1,6 млрд нейронов.
Вообще, нейроны у животных могут иметь до 20 тыс связей на нейрон. Это 8,75 миллионов у нейросети нейронов или от мозга таракана (1 млн нейронов) до мозга лягушки (16 млн нейронов)
Соответственно, GPT-3 должна по интеллекту сопоставима с тараканом, лягушкой или даже с капибарой.
Для взрослого человека характерно 16 млрд нейронов. От 16 до 2 000 нейросетей размером с GPT-3 должны по интеллекту быть сопоставимы с человеческим.
При рождении мозг младенца имеет 100 млрд нейронов.
Что как бы намекает насколько [не]эффективно работают нейросети и насколько они близки к человеческим параметрам.
Аналогия: у автомобиля есть определенное строение, а есть масса автомобиля, масса полезной нагрузки.
Для расчета эффективности расхода бензина достаточно знать расход бензина на 100км, полезную и общую массу авто, что позволит вычислить расход бензин на кг полезной массы, перемещенной на 1 км.
Соответственно, зная количествой нейронов нейросети, можно грубо сравнивать, например, с количеством нейронов муравья.
У муравья 500к нейронов. Пусть связей в 100 раз больше, т.е. 50 млн связей. Если на одну связь 64-бит число=8байт, то всего нейросеть муравья займет 400 млн байт или 381 Мб.
SD использует в районе 6-8 гб видеопамяти, сама сетка под 2-4 гб. Т.е. нейросетка на порядки более прожорлива, чем муравей. И непонятно, сравнивать ли нейросетку с муравьем или с более крупными живыми существами?
если вся нейросеть в файле - тупо веса, а связей те же 100 на нейрон и 8 байт значение, тогда 2-4 гб = 268-536 млн связей или 2,7-5,4 млн нейронов. Как 2-5 пчелок, с их 1млн нейронами.
В тоже время можно считать и обратную задачу - сколько места займет на диске нейросеть по подобию мозга муравья или пчелы. Умножить на количество особей и можно симулировать рой)
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
в среднем 4байта на параметр.
Пусть будет 100 связей на нейрон, тогда нейронов 1,75 млрд. Это сопоставимо с капибарой, у нее 1,6 млрд нейронов.
Вообще, нейроны у животных могут иметь до 20 тыс связей на нейрон. Это 8,75 миллионов у нейросети нейронов или от мозга таракана (1 млн нейронов) до мозга лягушки (16 млн нейронов)
Соответственно, GPT-3 должна по интеллекту сопоставима с тараканом, лягушкой или даже с капибарой.
Для взрослого человека характерно 16 млрд нейронов. От 16 до 2 000 нейросетей размером с GPT-3 должны по интеллекту быть сопоставимы с человеческим.
При рождении мозг младенца имеет 100 млрд нейронов.
Что как бы намекает насколько [не]эффективно работают нейросети и насколько они близки к человеческим параметрам.