Написание собственных библиотек слишком затратно по времени (слишком!), особенно когда есть хорошие бесплатные альтернативы. К сожалению я по неопытности тоже написал свой велосипедик (реализацию обучения деревья решений).
1. Пробуй другую игру.
2. Пробуй настройки графики понизить.
3. Посмотри загрузку процессора, памяти и др. ресурсов. (Может игра тормозит, а сваливает всё на плохой пинг.)
а какое значение скорости обучения используешь?
Кстати, SGD, RMSprop, Adam пробовал? https://habr.com/ru/company/skillfactory/blog/525214/
Пробовал написать процедуру подбора гиперпараметров?
А не GAN обучается нормально (со всеми функциями, что ты используешь)?
Пробовал отслеживать значения градиентов? Нет взрывных или затухающих?
Пробовал дискриминатору ставить меньший learning rate (или вообще обучать не каждый раз)?