Это очень странный вопрос. Почему под .NET существует множество языков, если можно писать всё на C#? Почему вообще существует множество языков, если можно писать всё на C? Почему так много разновидностей мобильников? Почему автомобили бывают разных марок? И т.д. и т.п. Потому что не бывает единственно правильного всегда и для всего решения.
Как понять, что вот проект А пишется на Java, а вот проект B ужеее неее, на Scala или Groovy лучше будет.
Надо быть многоопытным архитектором со знанием множества языков и способностью предвидеть пути развития проекта, причём с учётом и факторов не связанных непосредственно с разработкой. Это позволит выбрать язык дающий именно в вашем случае максимальный эффект.
Тогда если он такой крутой, почему я за 6 лет в айти(не коммерческого, но всетаки был рядом) не слышал почти про него
В пещере может жили?
И где тогда куча вакансий на него?
Между "крутостью" языка и количеством вакансий на него нет прямой связи. Дворников сильно больше, чем нейрохирургов, но вы же не будете утверждать, что дворником быть круче?