если вы отлично знаете C# + отлично знаете Xamarin = это очень весомый аргумент
но если планируете начать... - в java вы будете собирать грабли java и android... а в xamarin ++ грабли xamarin
ps
Unity сам по себе, и сам в себе C#
вы уж определитесь сами... есть люди пишущие на многих языках.. можно оба языка осваивать, можно и один. но в любом случае, разработка для андроида - это кросс-разработка. легко не будет. и как всегда, что бы начать - надо начать