Нейросеть без библиотек. Как можно реализовать?

Question

[D A]

Наверное, буду реализовывать на С++ (возможно на другом ЯП, поддерживающем ООП).
По моему плану я выделил следующие классы:

neuron
layer
network

neuon содержит следующий код:

#pragma once
#include <math.h>

enum activation_function {
	GAUSSIAN,
	SOFTMAX,
	SINC
	// и т.д.
};

class neuron
{
public:
	double value;
	double error;
	const char* activation_function;

	neuron();
	neuron(double value, double error, const char* activation_function);

	void activation();

	double gaussian(double x);
	double softmax(double x);
	double sinc(double x);
	// и т. д.

	void save(); // для сохранения
	void restore(); // для восстановления из файла
	
};

Если я здесь ошибся, подскажите что исправить =). Ну и не совсем понятно что должно быть в других двух классах. Кто разбирается подскажите =)

Comments

[freeExec]

У тебя странны вопрос, почти как "Я пишу игру, вот сделал класс и методы объявил Новая Игра, Сохранить, Загрузить, что надо ещё добавить?"
Начни делать, и всё сам поймешь, хватит тебе этого или нет.

[D A]

freeExec, дело в другом, я никогда этого не делал, поэтому по многочисленным гайдам накидал объявления методов, (собственно h файл), в cpp куча всего, частично копи-пастченного, но почему-то не рабочего =)

Answer 1

[mayton2019]

Если сфокусироваться на решении задач про созданию простой двухслойной нейросети то тебе
нужна матрица и вектор и операции над ними. И активационная функция. И функция обучения.

Вот это все

neuron
layer
network

я-бы на твоем месте не делал. Это уже архитектура и интеграция. Если развивать проект дальше.

И ты должен сам себе ответить на вопрос - что ты хочешь изучать. ООП или нейросети.
Нейросети это тяжелая тема. Там много экспериметов. Много разочарований. Много работ
дата-инжениринга по сбору и фильтрации входных данных. И этого всего настолько много
что для ООП там уже сил не остается. Тоесть твоя декомпозиция задачи на 3 класса на старте
тебе ничего пока не дает. Но обязывает тебя очень многому.

Я-бы предложил делать прототип в олипиадном стиле.

По поводу примерв. На гитхабе я находил много туториалов и пробных нейросетей на сях
созданных в рамках обучения. Я искать их не будут. Я думаю ты сам найдешь.

Comments

[D A]

я-бы на твоем месте не делал. Это уже архитектура и интеграция.

— объяснить бы это преподу =). Задача поставлена в стиле ООП писать, а не моя прихоть

[mayton2019]

D A, ну вот и сделай ООП. Matrix, Vector, ActivationFunc.

Answer 2

[Максим Припадчев]

Ну ищи примеры и от них отталкивайся. Если нетворк будет состоять из одного скрытого слоя, то обратное распространение ошибки (backpropagation) не сложно. А вот если из нескольких то подсчет градиента будет происходить при помощи chain rule - это сложно реализовать.

Слой из параметров функция активации и выходная размерность.
Внутри слоя activation_fumction(dot(A,W) + b). где A - это входная матрица, W это изначально случайно инициализированная матрица весов с количеством рядов равных количеству колонок в матрице А и количеством колонок равных (output_size) параметр у слоя, размерность. то есть например A(10,3) то W должно быть (3,m) где m это то что ты укажешь в параметре выходная размерность каждого слоя. Та размерность которую ты получаешь на выходе после каждого слоя (10,m) в данном случае, b- вектор, с подходящей размерностью просто выполнить по элементное сложение, так же инициализируется случайно. Ну и dot - математическое умножение матриц.

Model нетворк, это коллекция слоев, имеет методы compile где ты указываешь loss функцию, то что ты будешь минимизировать, ну и наблюдаемые метрики. также имеет метод fit где ты не посредственно, обучаешь, имеет параметры batch (какими частями ты будешь подавать на вход (количество рядов в матрице)) количество эпох (сколько итераций по каждому batch), ну и данные не посредственно.

В целом ищи гайд. Так тут все сложно объяснить, и это сильно зависит сколько слоев. backpropagation на нескольких слоях это реально самый сложный момент. И он реально сложный.

Comments

[D A]

Как-то сложно всё объяснено...
1.

Если нетворк будет состоять из одного скрытого слоя, то обратное распространение ошибки (backpropagation) не сложно. А вот если из нескольких то подсчет градиента будет происходить при помощи chain rule - это сложно реализовать.

- по заданию количество слоев не ограничено, но для задачи, которую должна будет решать эта сеть, по идее 1 скрытый слой и может быть даже 1 выход с набором значений от 0 до 1 принадлежности к i-тому классу

Ну ищи примеры и от них отталкивайся.

— искал, может плохо, но ничего более менее похожего не нашел, что можно скачать, посмотреть код, запустить и «пощупать»
3.

Model нетворк, это коллекция слоев, имеет методы compile где ты указываешь loss функцию, то что ты будешь минимизировать, ну и наблюдаемые метрики. также имеет метод fit где ты не посредственно, обучаешь, имеет параметры batch (какими частями ты будешь подавать на вход (количество рядов в матрице)) количество эпох (сколько итераций по каждому batch), ну и данные не посредственно.

loss я так понимаю ошибка (что-то, что не правильно посчитано), которую надо минимизировать

[Максим Припадчев]

D A, У всех нейронок, есть выходной слой. Его конфигурация это отдельная история, она зависит от задачи которую модель будет решать. Например для классификации на 5 классов это будет, softmax(dot(A,W) + b), c размерностью 5. То есть он трансформирует данные из предпоследнего слоя в котором активация будет relu. В вектор размерностью 5 И значениями между 0-1 сумма которых 1.

loss- это функция подсчета ошибки которую будут минимизировать за счет настройки значений матриц весов (W и b) посредством обратного распространения ошибки. Для задач регрессии обычно MSE используют. Для классификация cross entropy.

[D A]

Максим Припадчев, функция активации по задаче: сигмоид на входном и гауссова функция на скрытых, почему именно так — не знаю...

[Максим Припадчев]

D A, На выходном а не на входном. Сигмоид. Значит ты будешь решать задачу бинароной классификации. То есть класса всего два. Это облегчает жизнь.

Answer 3

[Александр Скуснов]

Андрей Карпатый всё выложил на блюдечке (особенно автоградиент а-ля PyTorch).
Плейлист NN: from Zero to Hero.

Comments

[D A]

Было бы это еще по-русски

[Александр Скуснов]

Вы можете просто код скачать (он всегда будет по-английски).