В первую очередь стоит проверить версию Go т.к. ранние версии, даже те, что начинаются с 1, не особенно стабильны и страдают утечками.
Во-вторых, нужно понимать, что keep-alive оставляет соединения открытами какое-то время и это сказывается на расходуемой памяти (правда, когда активность станет меньше, память со временем тоже очистится). Чтобы убедиться что не течет, стоит keep-alive для теста отключить.