Сперва нужно определиться, что именно вам нужно: библиотека для работы с графикой или целый игровой движок.
Судя по тэгу 2D, SFML вам должен подойти, т.к. рассчитан именно на 2D графику, кроссплатформенен и очень прост в освоении. Я в SFML за вечер смог сделать прототип игры с загрузкой уровней из Tiled, шейдерами и компиляцией в Windows и Ubuntu. Т.е. где-то часа за 3-4 с момента скачивания библиотеки и открытия документации.