imageman

Рекуррентные сети
https://qudata.com/ml/ru/NN_RNN_Torch.html - довольно сносное описание.
Объясню "на пальцах":
а) на вход нейросети подаются N блоков (фиксированной длинны), к примеру для N ботов это будут координаты x,y поэтому у нас будет вектор [N , 2]
б) у нас есть некое внутреннее состояние нейросети (почти всегда инициализируется нолями) которое задается всегда определенным образом перед каждым запуском. Это массив длинной K (например 10). *** В твоем случае в самом начале в этот массив можно записать свои собственные координаты, какие-то дополнительные параметры (например число ботов).
в) сеть состоит из двух частей - рекуррентная (перебирает по очереди вход) и финальная часть, которая на основе внутреннего состояния дает окончательный вывод (прогноз, результат).

Теперь чуть подробнее. Рекуррентная часть это простая нейросеть любой конфигурации, которая на вход принимает массив "внутреннее состояние нейросети" и одну из N строк входного массива (в твоем случае "внутреннее состояние нейросети" + 2 числа). Обрабатывает это и на выходе получается новый массив "внутреннее состояние нейросети". Т.е. (как пример) на входе 12 чисел, на выходе 10 чисел.

После обработки всех N строк входного массива в дело вступает финальная часть нейросети. Она может быть тоже любой конфигурации (структуры). На вход принимает "внутреннее состояние нейросети" (например 10 чисел), на выходе какой-то уже конечный результат (к примеру "угол" и "скорость").

Надеюсь понятно изложил.

1. Использовать структуру нейросети, которая на вход принимает большие картинки (вроде как U-Net из коробки работает так, что может обработать как 256*256, так и 1024*1024).
2. Анализировать квадратами (нарезать) с перекрытием, потом сшивать как сшивают панорамы (поищите smartblend.exe). https://wiki.panotools.org/SmartBlend
3. Заранее тренировать модель с учетом перекрытия, в этом случае сшивка должна быть сильно проще.

А посмотри вопрос
https://stackoverflow.com/questions/65615059/check...
Вроде то, что тебе нужно.

image = Image.open(file).convert('RGBA') 
alpha_range = image.getextrema()[-1]

if alpha_range == (255,255):
    print("image is not transparent")

1. Функция активации всегда нелинейная (поэтому leak relu должен быть ломаной, не должен быть простой прямой).
2. Активации разных слоев могут быть разными - в скрытых слоях leak relu, в финальном - сигмоида
3. Один скрытый слой мало. Пробуйте 2-3 хотя бы.
4. Пробуйте разные скорости обучения (0,001)
5. Число итераций градиентного спуска может и побольше нужно делать.

А точно всё это нужно самостоятельно писать на C++? Может лучше взять готовые реализации библиотек обучения (PyTorch, tensorflow)? Проект ONNX https://ru.wikipedia.org/wiki/ONNX позволяет экспортировать модели (но сам я пока не попробовал). Так же никто не запрещает из программы на C++ вызывать питоновский скрипт (как внешнюю программу).

Да, можно без нормализации.

Вот тут https://github.com/eriklindernoren/PyTorch-GAN собрано довольно много реализаций нейросетей (я оттуда с ESRGAN экспериментировал).

FeedForward (это те, что полносвязные) практически тупиковый путь. Посчитайте сколько вы весов заложили в свою нейросеть. Для картинок пробуйте сверточные нейросети.

Я так понимаю, что категории у тебя собственные, не такие, как у авторов нейросетей?

Мне кажется (могу ошибаться) тебе следует набрать ключевые слова для каждой категории. По этим ключевым словам получаем вектор на предобученной модели (запоминать среднеарифметический вектор?). Не исключено, что придется какие-то категории разбить на подкатегории (для более однородных векторов ключевых слов).

Для искомого слова также получаем вектор, затем вычисляем расстояние (эвклидово, косинусное и т.п.). С какой категорией расстояние минимально - то наше.

В fastText есть возможность классифицировать текст или перевести слова в вектор.
https://gosha20777.github.io/tutorial/2018/04/12/f... вроде там вполне доходчиво. Как я вижу там нужно самому учить классификатор (я так понимаю ты хочешь использовать что-то предобученное?). Ну и ещё почитать https://sysblok.ru/nlp/kak-rabotaet-fasttext-i-gde...

И если ничего не получается, то ищем автора https://habr.com/ru/post/489474/