Задачи из узкой предметной области - те соискатель должен иметь опыт в тестировании и решении университетских задач на графах, ЗКП и тп
Такие или не идут в тестирование или хотят денег
Тестирование софта, которое не дает всегда один и тот же результат, подходом черный ящик - головная боль
Подход к решению вашей проблемы:
Ищите соискателей по универам, в которых преподают ваш тип задач на нормальном уровне и учите их как писать тесты
Можете также обратиться к преподавателям напрямую и попросить их порекоммендовать вам
Увеличивайте зп - для готовых спецов
Также вы ищете не тестировщиков, а QA - спеца с некоторым научным бекграундом
QA отличается от тестировщика тем, что он принимает решения на равне с ПМом и заказчиком
Лучше выложить задачи на гитхаб вместе с данными - так есть вероятность, что к вам обратиться разработчик с соответствующим бекграундом, который заинтересован в интересных задачах
