Teivaz

Кокос очень сильный движок и сейчас активно развивается

Попробуй Cocos2dx. Это версия на С++ довольно популярного игрового движка. Под него есть удобные радакторы, например Cocostudio. Там можно и анимации делать и спрайты нарезать и GUI набросать и сцену собрать. А ещё он кроссплатформенный, так что можно будет и под иос и под андроид собрать без проблем.

Ну и если создавать игру, то очень важно понимать что конретно должно быть в ней. Для этого обычно создают несколько так называемых фейков - картинок с изображением игрового процесса, меню, короче говоря того, как должна будет выглядеть игра. Также важно иметь список фич, которые планируются для первой версии, без него игру можно делать бесконечно и она врядли когда-нибудь будет закончена. Ну и всяческие диаграммы переходов между меню, игровой флоу тоже будут полезны. Всё это нужно для того, чтобы во время программирования точно знать что нужно реализовывать а не распыляться на кучу фич которые было бы круто иметь в будущем.

Шейдером в openGL это решается элементарно.
Передаём в шейдер обе текстуры. Из первой текстуры берём r, g, b. Потом вычисляем яркость второй текстуры в точке и в прозрачку стави один минус это значение.

vec4 tex1 = texture2D(texture1, position);
vec4 tex2 = texture2D(texture2, position);
float luma2 = (tex2.r + tex2.g + tex2.b)/3.0;
gl_FragColor = vec4(tex1.r, tex1.g, tex1.b, 1.0 - luma2);

Литературу я вряд ли посоветую, но опытом поделиться могу. Процесс создания игры следующий:
сначала создаётся документ с общим описанием игры, затем, в процессе бурного обсуждения документ обрастае деталями, подробностями, фичами и прочим. Получившийся документ называется ГДД (гейм дизайн документ). В нём должны подробно быть описаны все игровые режимы, Окна, возможности, переходы, состояния. Для создания какого-либо окна в удобном вам графическом редакторе создаётся фейк (просто картинка с желаемым результатом), затем художник разбирает фек на детали, дорабатывает их и передаёт геймдизайнеру, геймдиз в имеющейся тулзе создаёт гуи (если нужно) и отдаёт всё программисту, который складывает ресурсы в игру, прописывает в коде загрузку необходимых проектов, колбэки на кнопки и подобное.
Я сам сейчас занимаюсь созданием игры с кокосом, только я использую cocos2dx (кросс-платформенный вариант на C++).
Про гуи, левелам и анимациям. Для кокоса есть тулзы, я, например, использую CocoStudio. У неё есть модули для создание гуи, скелетной анимации и сцен. При этом тулза экспортирует проект как сцену в json формате + один или несколько атласов (которые сама собирает) и плисты к ним с описанием спрайтов. Всё что нужно для таких базовых вещей. А ещё можно в анимации вставлять частицы. Только вот немного глючит эта студия.
Что же касаетс создания конкретного левела в игре, то тут нужно продумать игровую механику и отталкиваться от неё. Если левел не удаётся создать используя существующие тулзы (а скорее всего так оно и будет), то следует описать логику геймплея: выделить основные объекты, описать взаимодействие их, определить какие из них и что конкретно должно меняться от левела к левелу и вынести загрузку их во внешний файл (можно использовать обычные плисты, которые легко парсятся в словари, а можно использовать скрипты, кокос2дх поддерживает луа, только я пока им не занимался). Это позволит разделить труд (один человек может делать скрипт для конкретного левела, другой - доделывать логику), легко изменять параметры и баллансировать левелы без пересборки билда и вообще - это общепринятая практика.