Не очень понятно задание, что там за матрицы даны, но в общем случае делается так: найдите матрицу перехода из старых координат в новые. Это будет S^(-1). Чтобы получить преобразование в новом базисе, надо взять координаты, перейти в старый базис, применить перобразование (А) и перейти назад в новый базис. Т.е. ответ - произведение трех матриц: S*A*S^(-1)