Вы же знаете, что объекты по ссылкам хранятся?
map.get(k1) // ссылается на тот же объект, которым вы задали значение в set
map.get({a:1}) // уже совершенно другой объект
{a:1}, {a:1} // это два разных объекта
map.set({a:2}, 'oops') // вы не сможете достать или удалить это значение, потому как единственная
//ссылка на ключ лежит в самом Мапе
Почитайте больше о том, как работают объекты.
Поправка, вы можете достать подобный ключ, например так:
for (let key of map.keys()) {
console.log(map.get(key))
}