ИТАК, дело в том, что когда вы возвращаетесь на страницу таким образом, то вызывается функция OnStart(), а у меня OnStart() был такой:
protected override void OnStart()
{
base.OnStart();
startButton.Click += StartButton_Click;
}
Как видим, я подписывался на событие
каждый раз, когда переходил на эту страницу.
Проблема решена переносом подписки из метода OnStart() в метод OnCreate().