Вопрос сформулирован точно и подробно, так что диагноз ставится легко - взорвался один из электролитических конденсаторов в БП. Почему всё продолжает нормально работать? Потому, что в выходных цепях БП обычно несколько параллельно соединённых конденсаторов, ёмкость их выбрана с запасом, поэтому оставшихся достаточно для нормальной работы. Сам БП нормален и исправен, а взорвавшийся конденсатор - заводской брак. Такое бывает, входной контроль на заводе-изготовителе не способен отловить все без исключения дефектные комплектующие, некоторые всё же проскакивают на сборку.
Что с ним делать? Конечно, можно продолжать пользоваться, раз уж с виду всё ОК, но правильнее будет вскрыть корпус компа и БП и впаять в плату (с соблюдением полярности!) исправный конденсатор, точно такой же по ёмкости и рабочему напряжению. Делов на 10...15 минут, не считая похода в Чип-Дип за новым конденсатором.