На мой взгляд - не останавливая сервер - никак.
Поскольку в вопросе нет данных о контроллере дисков и корпусе, универсальный ответ:
Выполнить команду с указанием диска
udevadm info --query=all --name=/dev/sda | grep ID_SERIAL
Выключив сервер, найти диск по его серийному номеру.