Официальная архитектура GPT-3.5 (также известная как ChatGPT) включает в себя 175 миллиардов параметров. Однако, OpenAI не раскрывает конкретное количество нейронов или слоев в архитектуре модели, поэтому точное количество нейронов и связей неизвестно. Значительная часть параметров распределена по слоям и блокам, которые включают трансформерные слои и механизм самовнимания. Только читал об этом в
книге про ChatGPT 
