Если вы не уверены, что вместо числа(даты/etc.) вам не подсунут какую-нибудь строку, то лучше использовать метод TryParse(), он есть у всех базовых типов. Иначе пользователь словит невнятную ошибку и в багрепорте диагностика "не работает" будет самой частой. Внятные ошибки нужны больше вам чем пользователям. В данном случае что-то вроде этого

int firstNumber;
if(!int.TryParse(Console.ReadLine(), out firstNumber){
   Console.WriteLine("Скорее всего Вы ввели не число");
   Console.ReadKey();
   return;
}

Кроме того, Вы зачем-то обрабатываете частный случай:
if (secondNumber % firstNumber == 0)
А тут можно и нужно найти общее решение задачи, как указал @Rsa97. Задача программирования решать как можно более общую задачу.