Такая фигня (неубиваемость) похоже только с calc.exe. Notepad.exe и mspaint.exe прекрасно останавливаются!
Почему?

Все, разобрался!
Все оказалось просто: файл Windows-калькулятора называется calc.exe, а запущенный процесс называется Calculator.exe.
И этого достаточно для нормальной работы кнопки:

btnCalculator.addActionListener(new ActionListener() {
		@Override
		public void actionPerformed(ActionEvent arg0) {
			// TODO Auto-generated method stub
            if (!isWinCalc){
            	try {
			Runtime.getRuntime().exec("C:/Windows/System32/calc.exe");
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
            	isWinCalc = true;
            }
            else {
            	try {
            		Runtime.getRuntime().exec("taskkill /F /IM Calculator.exe");
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
             	isWinCalc = false;
            }
	}
});