Артём

Отладку в зубы и дебажить.
Передаете в фактор 0. Срабатывает if. Дальше он вызывает factor с -1. И так до stack overflow.
У факториала нуля обычно своя обработка ;-)