Реализовать таймер не через InvokeRepeating, а через что то более контролируемое - Update, например, или корутину.
Конкретно в вашем случае:
void RunTimer() {
if (IsAlive())
scoreText.text = (int.Parse(scoreText.text) + 1).ToString();
}
IsAlive реализовывайте согласно вашей внутренней логике.