Когда вы увеличиваете высоту окна, вы увеличиваете документ и свой блок.
Но, когда вы уменьшаете высоту окна после этого, у вас документ теперь распирается вашим дивом full-height и высоту не меняет.
По этому, для этой задачи вам нужно следить за window, а не document.
Вот так:
jsfiddle.net/IonDen/wnvLcg7j 
