Так писали же уже, что нужно ограничить конкурентность, так как БД не справляется с таким объемом одновременных запросов. Добавьте семафор, например, так https://play.golang.org/p/plnZ-SrRwU4
Если нужна скорость, не используйте sqlite. Заюзайте mysql, например