Получилось исправить!
Из-за того, что у меня графики динамические и перерисовываются каждую секунду, трансформация накапливалась.
Решить проблему оказалось довольно просто. В функции отрисовки в самом начале вызывайте context.setTransform(1, 0, 0, 1, 0, 0); и все будет корректно отображаться.