Есть функция
Mathf.Clamp(float number, float min, float max), которая делает то, что вам нужно. Также для удобства работы, можете вынести наклон в отдельную внешнюю переменную. Выглядеть это будет как-то так:
//... class
float pitch;
// ... Update
pitch = Mathf.Clamp(pitch - mouseY, -90f, 90f);
transform.Rotate(new Vector3(pitch, 0, 0));