Ну давай подумаем.
Если у тебя 1500 матриц одного размера, типа 9х12 - это прекрасно, не надо ломать голову над выбором входов, вот 108 готовых.
А вот если все матрицы разных размеров? Как снять с них входной сигнал? Сети, работающие с изображениями, с этим легко справляются, масштабируя изображения к одному размеру. Но твоя нейросеть
должна понять какая связь между числами в матрице,
т.е. числа, видимо, нежелательно искажать теми же алгоритмами, что и при обработке картинок.
Хорошего решения я не вижу, а плохое лень расписывать. Я и так настрочил вчетверо больше твоего вопроса.
Копай в сторону "думать".