Потому, что у вас даны координаты точек в objectc, а не векторные точки от начала координат.
Чтобы вычислить косинус, а следовательно - угол, нужно брать смещения по X и по Y (deltaX и deltaY) между двумя точками и уже на основе этого смещения вычислять угол.
var deltaX = objectc[test_prohloe][1] - objectc[key][1];
var deltaY = objectc[test_prohloe][0] - objectc[key][0];
var llength = Math.sqrt(deltaX * deltaX + deltaY * deltaY);
if(llength > 0) // - проверка, что есть различие между точками и есть смысл вычислять новый поворот.
{
var cosin = deltaX / llength;
console.log(cosin);
var gradus = Math.acos(cosin);
ctx.rotate(gradus); // rotate square in radians
}