Пфф, не понимаю, о чём вообще тут говорить:
1. Берем выражение типа 2/3.
2. Выполняем деление.
3. Заносим в переменную.
4. Делаем элементарную проверку* числа в переменной - бесконечное или нет. Если в переменной бесконечное число - то оно иррационально.
* Конечно, это возможно только если не хотеть знать, как компьютер представляет числа.