Спасибо за советы!
Пока сделали костыль в виде "rspec-retry": для отдельно отмеченных тестов он пробует запустить тест несколько раз и если, например, первый раз тест не прошёл, а второй раз прошёл, то считается пройденным.
Можете показать ваш пример использования site_prizm?