Думаю, начать можно отсюда:
https://unity.com/ru/products/machine-learning-agents
Правда никакой речи про "которая будет обучаться сама" нет. Всё-таки нужно более конкретную задачу ставить)
Ну и если это не то (например если тебе нужно распознавание изображений и прочие классические для НС задачи), то смотри на более общие инструменты. Типа того же питона с кучей его библиотек.