1 python это интерпертирующий язык, медленный. для построения нейронной сети его надо компилировать. для задачи обучения скорость языка не важна тк основное время занимает нейроная сеть. популяроность питона обусловлена его простотой.
2 с позволяет делать все что нужно.
3 конечно нейр сеть лучше делать на gpu, это основное направление. есть также специализированные чипы для нейронных сетей, например гугл выпустил тензорный вычислитетль
в целом- машинное обучение нс почти не зависит от языка. библиотек много н. выбирайте ту что вам удобнее.