А зачем вы его добавляете/удаляете? можно скрыть/показать poll-container инциализировав виджет опроса 1 раз.
<button id="poll-button">Кнопка</button>
<div id="poll-container" class="hide"></div>
<div id="vk_poll"></div>
.hide{
display:none;
}
var cont = document.getElementById('poll-container');
var knopka = document.getElementById('poll-button');
var vidjet = document.getElementById('vk_poll');
cont.appendChild(vidjet);
VK.Widgets.Poll("vk_poll", {width: "300"}, "245434324_4a7f33a2a9a111fe8d");
knopka.onclick = function() {
cont.classList.toggle('hide');
}