В js между свойствами объекта и его методами нет никакой разницы. Собственно, метод - это свойство, содержащее функцию. А к свойствам, помимо доступа через точку (o.foo) можно получить доступ и через квадратные скобки (o['foo']). Польза этого в том, что в квадратные скобки можно передать переменную и таким образом реализовать доступ к свойству по имени, которое определяется в процессе выполнения.
Скомбинировав эти знания, получаем следующий код:
$('.filter').removeClass('active')[mobile ? 'slideUp' : 'fadeIn']();