Ilya Neizvestnyj

Вообще, если построить график, то можно заметить, что в какой то момент сеть перестает обучаться и наступает эффект переобучения.
Побороть переобучение полностью невозможно, но можно сделать так, чтобы оно наступало позже.
1) Использовать регуляризацию (L1, L2)
2) Dropout (прореживание)
3) Если работаете с изображениями, то их в генераторе можно переворачивать, создавать белый пиксель и т.п

МФТИ: огромная база, фонд, катируется в Европу, Азию, USA, сотрудничает с Яндекс, Google.
Яндекс лицей или школа программистов (тоже сотрудничает с Яндекс, МФТИ, ВШЭ), там дадут базу, кучу заданий и т.п
ВШЭ, тоже неплохой вариант, но там больше практики как я знаю
Если книги по машинному обучению, то смотрите в сторону Шолле или документацию читайте, там в принципе все понятно
Да, и как по мне лучше ходить в вуз, чем учиться заочно, в первую очередь это общение и наращивание связей

Ну вообще можно использовать функцию из библиотеки OpenCV - findContours(), она выделит связные группы пикселей, состоящие из одного цвета (то есть у вас будет 4 картинки), потом просто создать обычную свертучную нейросеть используя Conv2d слои и определять что за буква или цифра на картинке. Для определения цифр существует набор данных mnist, когда я делал что то подобное, точность определения цифры составляла 95%.
P.S не забудьте преобразовать изображение в бинарное