Возможно сделать так, чтобы при незапущенном сервере по этому адресу отображалась html-страница, расположенная где-то на моем компьютере?
Нет. Чтобы клиент получил страницу, сервер должен её отдать. Для этого он должен слушать стандартный порт - ждать запрос на него.
Но. Можно поставить-выбрать-создать другой сервер, который будет весить в десятки или даже сотни раз меньше, чем монстр OpenServer, который представляет из себя комбайн для разработки на PHP + MySQL + ... , и вот эту "крошку" поставить на автостарт при старте системы, например.
Правда в этом случае при запуске OpenServer он выругается вам, что кто-то уже занял его порт.