Если Go тут просто как один из вариантов (причем языка не знаете) - не выбирайте его. Если же знаете и нравится - берите его, как прекрасное решение для реализации backend демонов, а самые cpu-bound вещи через cgo, реализовав на C++.
Хотя вот у меня есть на Go вещица, считающая как раз FFT и около этого, так мне вполне хватило скорости самого Go. Вопрос лишь, какая у вас нагрузка и требования: мне +/- 2мс на запрос в данном случае роли не играли.
