Соглашусь с
@TBoolean код бы не помешал, но все же предположу, что при выведении окна к URL добавляется какой-то якорь (что-то вроде #modal). После закрытия окна якорь убирается. При нажатии «назад» в браузере вы возвращаете якорь в URL, скрипт увидев якорь послушно выводит окно заново.
