Две основных версии: проблема с материнкой или проблема с блоком питания.
БП заменить проще, так что с него лучше и начать. Если можно для проверки одолжить на час БП у товарища, то используйте эту возможность.
Дело в конденсаторах (но они есть и на материнке и в БП). Когда вы выключаете и быстро включаете БП, заряд на некоторых конденсаторах ещё сохраняется, это и помогает запуску.
Ещё дело может быть в чрезмерной просадке напряжения по одному из выходов БП. И в том, какие напряжения по всем линиям питания в момент запуска. БП должен выдать сигнал
Power Good, но если он выдаёт его, когда реально по одной из линий "не Good", то материнка стартует и зависает. При повторном запуске сохранившийся в конденсаторах заряд создаёт чуть лучшие условия на момент запуска.