Обязательно нужно. Это библиотека, а не фреймворк, чо там учить. В 4 версии, к которой всё идёт вместо sizzle селекторы будут на нативном document.querySelectorAll. Вообще размер минимальный получится, если всё в один bundle собираешь. У меня сам jquery занимает где-то четверть всего бандла.
Функции типа $(selector).load(), $(...).show(500), $(...).offset(), разные обработчики событий, всё можно и нативно писать, но зачем? Используй его, если видишь что от него за зал только пару функций - выпили.
Более того стоит выучить и jquery-ui, хотя его использовать лучше скорее в домашних проектах, но все равно, .datepicker или dialog тебе сэкономят много времени.