Под Python.
Можно взять популярный PyGame, хотя под linux не так очевидно завести его с аппаратным ускорением (по дефолту сядет на x11 с софтварным рендерингом). Под win я его не пробовал.
В качестве альтернативы можно взять SDL (который используется в PyGame) сам по себе, или в качестве обертки над OpenGL. Но c OGL уже не так очевидны попиксельные операции, если не хочется загонять текстуры в видеопамять на каждый чих.
Под C#.
Всюду советуют Xna. Но еще есть альтернатива в виде
SlimDX, которая по некотором моментам лучше Xna. Но win-only.
В общем, зависит от целевых платформ, ожидаемого функционала и того, какой ЯП вам лучше знаком.