В учебнике математики для старших классов или ВУЗ.

А еще лучше в решебниках. Там вы сможете проследить правильность построения хода решения (если такое предусмотрено) и получить заведо верный ответ который сможете проверить. Это если речь идет о тестировании математического аппарата.

Если собираетесь тестировать сам интерфейс калькулятора то тут самому придумывать. Открываем приложения и смотрим, что видим то и тестируем. Потом пробуем запустить тесты на более ранней/поздней версии приложения смотрим сравниваем.

Далее открываем документацию по приложению (у любого более менее сложного приложения она есть) ищем там разные настройки из разряда "Если вы поставите вот здесь галочку то циферки станут синими" - обычно на этом этапе и проходит основная работа

А не лучше ли для тестирования написанного на QT использовать встроенные средства QT?