Начинаю я потихоньку проект и хочется иметь возможность его автоматически тестировать и делать всякие бенчмарки с разными параметрами. Проект под Windows, делаться будет в MSVS 2010 (может таки 2008), язык c++ возможно +шарп, связан c GPGPU, OpenCL, рендерингом всяких извращений, CAM, геометрией и подобным. Собственно задача такая: есть прога, которая рендерит картинки, у нее на входе 20 параметров связанных с производительностью с 10 значениями каждый, я над ней поработал, на ночь запустил бенчмарки и наутро получил красивый график о том, с какими комбинациями параметров получается быстрее, чем оно отличается от вчерашней версии и где оно покрашилось.
На сайте Nvidia попадалось упоминание о таком стандарте как OpenAutomate, но как-то не видно там активности особой уже давно.
Знаю также, что в студии есть юнит тесты, но никогда ими не пользовался и не знаю насколько широки возможности встроенных инструментов в плане сбора статистики и бенчмарков.
Подскажите, кто чем пользуется для подобного рода задач. Желательно, чтобы оно было бесплатным (бесплатное для академического использования тоже хорошо).
Рабочий проект на C#. Делаем его в VS2010. CruiseControl на сервере каждые полчаса автоматически обновляет проект из SVN, билдит его, а затем прогоняет все тесты. Если что-то упало, то у разработчика отображается сия печальная новость в трее.
Средний
Средний
Простой
