Нейросети, пакеты, библиотеки, откуда такая сложность?

Question

[VladimirFarshatov]

Понемногу вкуриваю работу с нейросетями, нашел несколько вариантов пакетов/библиотек, в т.ч. tenzorFlow как самый объемный и поддерживаемый. Возник нубский вопрос:

Персептон - по сути это "фиксатор" результата вычисления - он или включен или выключен. Можно организовать больший диапазон "итогов". Соответственно, ключевое понятие - "связь": от кого, к кому, с каким коэффициентом. Т.е. перестраиваемый двусвязный список изменяемых (обучением) коэффициентов и применяемой функцией к интегрированию входных значений (ступенчатая, сигмовидная и т.д.). Остальное зависит от "примененных структур данных" - часто массивов коэффициентов.
Собственно вопрос: "что тут сложного" и зачем такой обьем кода на гитхабе ТензорФлоу? и зачем там float? Кмк десимал на базе int32 должно быть "за глаза", не? ;)

походу чего-то ещё не понял, требуются разьяснения..

Answer 1

[Wataru]

В общем-то, все просто, если у вас нейронов штук 100. Ну 1000 - тогда решение с помощью массивов и сработает, хоть и тормозить будет.

Но когда у вас этих нейронов сотни тысяч-миллионы, да еще организованных в десятки слоев определенным образом, надо уже придумывать что-то более хитрое.

Все эти библиотеки на низком уровне работают с алгеброй и другой математикой. Там всякие разряженные матрицы раскладываются во всякие разложения, обращаются и обсчитываются, чтобы получить тот же результат, но на порядки быстрее.

Плюс сложность возникает, если вы хотите строить нейросети более абстрактно. Потому что руками задавать, что вот у вас 10000 нейронов, и первый связан с пятым, триннадцатым и еще вот этими 1000 - невозможно никак. Поэтому вводятся всякие слои и куча других абстракций, чтобы все это можно было в кучу собрать в 100 строчек кода, а не в 100 миллионов. Плюс куча абстракций чтобы можно было тренировать сети разными алгоритмами и все было гибко.

Именно поэтому все эти универсальные библиотеки такие страшные.

А decimal не работает, потому что у него не хватает точности. Плюс float работает быстрее ибо реализован аппаратно.

Comments

[VladimirFarshatov]

Спасибо. Как-то так и ожидалось, что основная суть библиотек - оптимизация представления данных и вычислений из-за большого количества нейронов. Буду копать дальше.

[Griboks]

А decimal не работает, потому что у него не хватает точности.

Вполне хватает.
Думаю, тут дело в скорости и векторных операциях.

[Wataru]

Griboks, Разговор шел про "Децимал на базе int32". То, что вы привели - это питоновский какой-то очередной нефиксированный тип. У него практически бесконечная точность, но он очень медленный. Длинная арифметика короче:

prec is an integer in the range [1, MAX_PREC] that sets the precision for arithmetic operations in the context.

Т.е. оно сотни тысяч знаков может держать. В int32 вы запихнете максимум 9. И то, только если значения по модулю не превосходят 2.

[Griboks]

Wataru, действительно, не заметил про 32 бита.

Answer 2

[Александр Скуснов]

он или включен или выключен

Активацию ступеньку (sign) заменили на сигмоиду, т.к. нужно по частным производным считать градиент от конца к началу.
Потом перешли на ReLU для повышения скорости вычисления.
Полносвязные слои имели много параметров, поэтому нашли свёрточные фильтры (в основном, для изображений).
Было развитие систем с обратной связью (как в мозге), они же рекуррентные: LSTM, GRU. Там вместо нейрона несколько вентилей. Но обучение шло на последовательных данных.
Для параллельной обработки запроса внедрили корреляционные матрицы (внимание), так что современные сети делают на трансформерах. Но там миллиарды параметров, обычным компьютерам они не по зубам, поэтому пользователи делают только запросы через облако.

Comments

[VladimirFarshatov]

Спс. Откуда там "миллиарды" параметров как раз понятно: кадр 1024х1024 (не самый крутой) - уже метр входных нейронов. Каждый нейрон следующего слоя связан со всеми из входного со своим весовым коэффициентом .. вот уже имеем по метру флоат (4Mb FP32!) на каждый нейрон второго слоя а их .. метр! В итого (без ухищрений) имеем 4 гектара FP32 на один промежуточный слой.. :)
Кстати, подумалось, что степенные сигмоиды считать легче, чем экспоненциальные или гиперболические тангенсы .. и упс. Нашел работу по этому вопросу. ;)

[Александр Скуснов]

кадр 1024х1024

Если свёрточные фильтры, то весов не много. Допустим, размер 3х3, 10 фильтров - только 90 весов.
(трансформеры я не обсуждаю, обычно там на входе текст)

степенные сигмоиды считать легче

ReLU самое быстрое:
out = x > 0 ? x : 0

Answer 3

[mayton2019]

Насколько я понимаю TensorFlow - это коробочное решение от Гугла которое также поддерживает специальное железо TPU (Tensor Processing Unig) которое работает лучше чем вычисления на видеокартах.

А персептрон - это просто математическая абстракция. Причем самого начального уровня. Для многих алгоритмов обучения пороговая функция не годится (там есть требования дифференцируемости) и поэтому нейрон с гладкой функцией активации обычно используется как следующий шаг от персептрона. Хотя у теоретиков НС там были большие теоретические споры про скрытые слои и про учет слоев (как считать).

Comments

[VladimirFarshatov]

Спс. Ну вот и вышел на него как самую популярную библиотеку с открытым кодом. Заглянул внутрь и прифигел от количества напиханного, отсюда и вопросы.

Лет так почти 30 назад, разрабатывая идею компьютерного игрока стратегии а-ля "Цивилизация" пришел к выводу несколько иного алгоритма обучения: всё, что можно выбрать в меню игроку, должно быть доступно и автомату, по мере "открытий" меню расширяется одинаково .. сохраняем "срез" (много данных) по интегральной ситуации и храним "матрицы вероятностей" принятия решений. Для уменьшения данных срез разбиваем на отдельные сущности: "экономика города", "интегральная экономика страны", "состояние юнитов" .. и т.д. По сути та же свертка. Критерии успешности - сопоставление "как было - так стало" .. вероятность корректируется, что приводит к "обучению".. :) Вижу много похожего...

[mayton2019]

VladimirFarshatov, не очень понял про аналогии с игрой.

Вообще алгоритмы машинного обучения не всегда обязаны базироваться на НС. Есть и старые проверенные способы. Линейная. Нелинейная регрессии. Они нормально работают. Другое дело что щас любой школьник заходя в QNA для любой задачи тут же затаскивает и Чяты и Нейросети а ему только надо 2+2 посчитать. Живем в эпоху завышенных ожиданий или перегрева рынка НС.

[VladimirFarshatov]

Аналогия с проектом автоуправленца кмк сильная: там пробовал строить "матрицы вероятностей" == "промежуточный слой нейронов" с теми же "весами", нормированными на 0..1, но так, чтобы "бросив кубик" получить одно из решений (действие из меню), как правило то, которое имеет сейчас максимальную вероятность. Этим не исключался момент случайного выбора (подчас не верного) и процесс "переобучения" (не сверх, а заново). Как способ выхода из "локального оптиума".
Свойство "интеллект" влияло только на "скорость" обучения - величину изменения коэффициентов в матрице от вычисленной ошибки с предыдущего принятия решения.

[mayton2019]

VladimirFarshatov, я мало чего понял из того что вы описали. Но возможно вы строите генетический алгоритм. Там как раз есть бросок кубика.

[VladimirFarshatov]

mayton2019, с генетическими алгоритмами там тоже было общее, не только "бросок кубика". Тут аналогия с Нейронками в части "матриц", которые считаются примерно также, как обратное распространение ошибки. В целом та идея была только "похожа". То, что меня интересует сейчас несколько иное - хочу разобраться в этой проблематике, которой 30 лет уделял стыдно как мало внимания.

[mayton2019]

VladimirFarshatov, может тебе оно не надо? Что ты хочешь получить от TensorFlow? Это сложная библиотека. И решение может быть овер-инжинерингом. Ты свою задачу реализовал? Она работает? Чего тогда беспокоиться? Лучше улучшай что есть. Оптимизируй и так далее.

Ты 30 лет игнорировал (как и я) достаточно интересную доменную область и сейчас за месяцок хочешь туда вкатиться? Не выйдет. Я вот начал с ML для bigdata. Шаг за шагом. Тихой сапой. И я даже не расчитываю разобраться как работает генеративный AI. Его создавали давно. Сейчас мы только-только увидели результаты. И то благодаря технической сингулярности железа. Его стало настолько много (памяти и ЦПУ) что задача вместо качественного решения была решена просто количественно. Сколько там в GPT? 12 млрд связей? Не десктопе просто так не посчитаешь. Вот. И командовать чятами мне не особо интересно. Я не вижу где я могу там руки приложить. И чтоб приложение это имело инженерную а не пользовательскую ценность. Вот. Мне мои задачи пока нужнее.

[VladimirFarshatov]

mayton2019, ну .. не знаю. Собрал какую-то модельку набора персептронов, пытаюсь обучить реагировать на IR-датчики линии: имеем 7 датчиков, один по центру самобеглой тележки и остальные поперек направления движения. Чем дальше сработавший датчик, тем больше разница подаваемого напряжения на моторы, которых всего 2.. 7 входных, 7 промежуточных и 2 выходных нейрона. Обратное распространение ошибки: видим линию прямо (центральным датчиком) - разность на моторах ==0, осталось понять как нейронка будет "запоминать", что потеряла линию справа или слева .. ни один датчик не отрабатывает, как отличать ситуацию? :)
Да, пока без тензорфлоу, чисто на массивах.

Answer 4

[dmshar]

Ну, во-первых, раз вы уже побывали на GitHub - то и загляните в код TensorFlow, посмотрите чего там есть. Думаю, это логичнее чем спрашивать об этом на форуме. Да и объяснение, полученное таким образом будет более точным, чем фантазии неизвестно кого на форуме.
Во-вторых, float работает быстрее Decimal. Потому как float - это аппаратная реализация, а Decimal - программная надстройка. При расчетах, которые и на float длятся неделями и месяцами, 'представьте, сколько бы оно работало на Decimal.
В-третьих. "перестраиваемый двусвязный список изменяемых коэффициентов" - рекомендую освоить начальный курс по "структурам данных и алгоритмам", для того, что-бы понять когда можно применять любые списочные структуры, а когда необходимо использовать линейные структуры типа массивов. Нейросеть - это в подавляющем большинстве случаев фиксированная структура с необходимостью прямого доступа к каждому элементу. Отсюда и выбор наиболее подходящих структур представления данных. Ну, а когда дело дойдет до всяких backpropagation и прочих gradient descent - вот тогда вопросы такого рода окончательно и отпадут.
В-четвертых. Персептрон - это малюсенькая часть того, что составляет любой пакет для работы со взрослыми нейросетями. И нейросети не сводятся к "связям" и картинкам нейронов, взятых из учебников биологии. Все прелести там начинаются, когда надо делать что-то, что хоть на чуть-чуть сложнее одинокого персептрона.
Поэтому пока рекомендую все-таки разобраться в теории нейросетей. Потом посмотреть на реализации. Подсказка - сейчас вышло довольно много учебников по этой теме, где скорее всего будут готовые ответы на 99% вопросов, которые у вас будут возникать по ходу. Их можно легко найти в сети, в том числе и на этом форуме такие списки уже появлялись несколько десятков раз, поэтому тут приводить их не буду, А судя по вопросам - не мешает вспомнить и основные, базовые концепции программирования. Вот тогда картинка в голове сложиться полная. И если после этого что-то действительно останется неясным, недопонятым - вот тогда приходите с такими конкретными вопросами на форум, попробуем разобраться вместе.
А отвечать на вопрос - "что тут сложного" не получиться. Сложного там действительно ничего, если предварительно разобраться во всем этом хозяйстве, выделив на это часов 500-1000 времени.

Comments

[VladimirFarshatov]

Decimal - это вычисления в INT32. Дешевле, проще, быстрее и точнее чем FP64 в ряде случаев. Это не "программная надстройка", как Вы написали...

[dmshar]

VladimirFarshatov, Вы утверждаете, что Decimal реализован аппаратно??? На полном серьезе? Наверное специалисты ошибаются, когда пишут про Decimal " независимый от машины тип данных для реализации десятичных чисел, который был реализован с помощью модуля decimal в Python." Стоит подумать, как может машинно-независимая обработка быть реализована не программно. Это должно натолкнуть на мысль любого, кто знаком с основами архитектуры компьютеров.

И еще, что до скорости и утверждения, что "Decimal - это вычисления в INT32. Дешевле, проще, быстрее и точнее чем FP64". Полюбопытствуйте, очень полезно для общего развития:
https://pylot.me/article/17-floating-point-numbers/#
Замедление Decimal по сравнению в float - на элементарном примере (0.1 + 0.2) / 0.5 * 0.7 - более, чем в 60 (шестьдесят!!) раз. А вы говорите "быстрее". Кому верить?

[VladimirFarshatov]

dmshar, расслабьтесь, я не про питоновский децимал, это иное.

[dmshar]

VladimirFarshatov, И я не про Python. Но если вы вдруг говорили про Decimal в любом (!!) другом языке программирования, то это никакой роли не играет. Потому как Decimal реализован программно в любой языковой среде. И везде Decimal медленнее float. Это учат на первом курсе любой специальности, связанной с ИТ, вообще-то.
Впрочем, хотелось бы от вас услышать, что же такое "иное" вы имели ввиду. Даже интересно стало.

[VladimirFarshatov]

dmshar, decimal - это вычисления вещественных чисел с фиксированной запятой на множестве целых. В данном случае, фиксируем двоичную запятую, а нормализацию делаем сдвигами. Да, там где есть FP аппаратно, там децимал или такой же по стоимости или чуть дольше. Но! Несравненно дешевле в количестве транзисторов на кристалле. Бит сумматора это около 11 транзисторов. АЛУ 32 бита без FP это какие-то 300 транзисторов. В то время как даже FP32 это уже около 20 тысяч(тысяч, Карл!) транзисторов.

FP32 - 6-7 значащих цифр при одной операции. 4-5 "вычисление". Полноценные FP - это 64-80 разрядов (intel 8087 .. 45 тыс. тр.)
Dec32 - 9 значащих цифр.. 6-7 "на потоке типовых вычислений.

Сколько целочисленных АЛУ можно разместить на кристалле, если FP32 влезает около 3-5 тысяч? Насколько он будет проще (дешевле)?

[dmshar]

VladimirFarshatov, А не перечислите ли общедоступные вычислительные платформы, на которых описанная вами АППАРАТНАЯ реализация decimal реализована практически.

[VladimirFarshatov]

dmshar, любое целочисленное АЛУ, имеющее команды сдвига. Этого достаточно. К примеру, с сыном решали задачу ПИД-регулятора для его самобеглой тележки для соревнований Робофест-2017, в его 11 лет. После объяснений "как", ребенок сам написал программу на визуальном языке Ardublock и честно занял первое место в квалификации, уступив в финале чисто по случайности. Никакого FP в Atmel Nano нет, что называется от слова "совсем". Тем не менее ПИД вполне сносно (и главное шустро) считался на 32-и битном децимал (unsigned long), с 16 знаками после запятой, с отбрасываением младшего слова уже на подаче ШИМ на моторы. Там всего 8 бит надо-то. ;)

[dmshar]

Так вы же вопрос задали не про "любое целочисленное АЛУ," а "зачем такой объём кода на гитхабе ТензорФлоу" И вот оказывается, что в сотнях миллионах компьютеров, на которых потенциально может работать TensorFlow, нет децимальной арифметики. И "бухгалтерская" точность там не нужна, там достаточно обычной, "научной" точности, коею и обеспечивает float. А значит, попытка сделать то-же, но с decimal на общедоступных платформах обязательно приведет к замедлению, причем многократному. Ну, а "перестраиваемый двухсвязный список" в качестве представления нейросети замедлит работу еще в сотню раз.

И то, что где-то когда-то были архитектуры, которые на аппаратном уровне реализовывали какие-то экстравагантные структуры данных, в том числе и списки, не говорит о том, что все могут пользоваться такими "достижениями научной мысли", а должны решать задачи на той аппаратной и программной платформе, которая доступна массам.