Go проектировался для решения задач достаточно высокого уровня абстракция(серверов и сервисов). Простой и быстрый балансировщик лучше делать настройками nginx(Plus) а иногда даже конфигурацией маршрутизатора(физического устройства).
На Go есть популярные решения для специфичных областей
https://github.com/containous/traefik и
https://github.com/yyyar/gobetween для популярных ныне контейнерной и облачной архитектур,
https://github.com/google/seesaw производства google для архитектуры Linux Virtual Server (LVS).
Если вам нужен просто балансировщик HTTP/HTTPS трафика без труда нагуглите три строчки конфигурации nginx. Если хотите разобраться в материале и приподнять скилл балансировщик на Go вы напишите строк в 50-100 кода после прочтения пары блогов, быстрым он не будет, для скорости в простой задаче нужно ближе к железу.