Наверное вот так это можно исправить:

У вас принципиальная ошибка.
Для начала вызывается не ваш open а window.open(), избегайте переопределения стандартных функций.
Затем, функция должна быть определена до места её использования в тексте.
Поместите ваш код в тег script выше ваших элементов.

<script>
function open_el(){
    var ok = document.getElementById("open");
    ok.style.display = "block";
}
    
</script>
<style>
.open {
    display: none;
}
</style>
<div onclick="open_el()">Hello?!</div>
<div class="open" id="open">
    <span onclick="close()" id="close()">X</span>
    Hi dude!
</div>