Лично я очень долго сравнивал Java с другими технологиями, долго читал и перечитывал холивары, особенно с C#, и пришёл к выводу что Java чуточку лучше и перспективнее. Так что если выбирать с нуля, то лучше именно Java.
Но я также уважаю С# программистов и считаю, что должна быть конкурирующая технология, которая будет подгонять Оракл к добавлению новых фич. И в Java 8 они свершились, Джава по многим параметрам догнала С#.
Так что не в обиду С# прогерам. Если начали изучать С# - доводите дело до конца и будет вам счастье.
P.S. Я сам ни чуть не жалею, что выбрал Джаву.