Действительно, если использовать numpy или другие библиотеки написанные на сях, то на Go у вас написать быстрее не получится. Вопрос в том сколько вашей логики укладывается в эти сишные либы.
Тут пацаны пишут, что теперь можно писать модули для питона на Go!
stackoverflow.com/questions/12443203/writing-a-pyt...
Т.е. медленные участки кода вы сможете переписать на Go.