Тут все зависит от того, что вы планируете делать. Если графика, то нужны библиотеки для работы с канвой, svg и webgl (
three.js,
d3), если SPA-приложения, то нужно освоить фреймворк (vue, react, angular и.т.д.). Есть даже либы для машинного обучения (
https://www.tensorflow.org/js), для вычислений на gpu, например
gpu.js.
Не надо все учить, нужно учить только то, что требуется использовать, а об остальном нужно лишь знать.
Есть еще вот такой полезный реп со списком популярных библиотек на js
https://github.com/sorrycc/awesome-javascript