Это звук включения. Его издает встроенный динамик (speaker). Если хотите убрать звук - откройте компьютер, найдите вот такой коннектор, как на фото, и отключите его - стяните со штырьков полностью. Запомните на какие штырьки был прицеплен этот коннектор и в какую сторону смотрела надпись и если звук не исчезнет - прицепите его на место. Если прицепите неправильно - может случиться всё что угодно вплоть до взрыва, по этому будьте внимательны.
Если вы удостоверились, что встроенный динамик тут не при чем, просто проверьте, не цепляются ли лопасти вентиляторов за провода. Даже если не цепляются, попробуйте включить компьютер, предварительно открыв все возможные крышки, к которым прикручены вентиляторы. НЕ демонтируйте вентиляторы - потом не соберете.
У вас HDD или SSD?
Если HDD, то он тоже может так шуметь. Поменяйте его на какой-нибудь другой, если вам так уж сильно мешает этот звук. Лучше всего SSD. Они, правда, имеют другой форм-фактор, но можно использовать специальные конструкции-адаптеры или искать где-то невероятную игрушку - SSD с форм-фактором как у HDD.