10k+ соединений с gorilla/websocket не проблема, производительность напрямую зависит от кривизны рук разработчика.
Если же речь про 100k или 1M соединений, то нужно искать другие решения, но мне, кажется это не про вас.
ps
почему gorilla/websocket не годится для миллиона соединений -
https://habr.com/ru/company/mailru/blog/331784/