У вас принципиальная ошибка.
Для начала вызывается не ваш open а window.open(), избегайте переопределения стандартных функций.
Затем, функция должна быть определена до места её использования в тексте.
Поместите ваш код в тег script выше ваших элементов.
<script>
function open_el(){
var ok = document.getElementById("open");
ok.style.display = "block";
}
</script>
<style>
.open {
display: none;
}
</style>
<div onclick="open_el()">Hello?!</div>
<div class="open" id="open">
<span onclick="close()" id="close()">X</span>
Hi dude!
</div>