$(this) - в данном случаи $(document) и как оно может иметь класс .navbar-collapse. Можно вообще if тогда не писать, всегда будет срабатывать условие...
2. Значит скрытие навигации - это $('.navbar-collapse').removeClass('in'); удалением класса? То что атрибуты добавляются, какие-то изменения в DOM происходят, их не нужно учитывать? https://codepen.io/STutukov/pen/PmRzQJ?editors=0010