Положите на место убранного элемента пустой блок с такими же размерами.
Если чистите блок, то делайте не .remove(), а .html(''), предварительно зафиксировав ширину и высоту.
Для этого поместите каждый из элементов контейнер фиксированного размера. Последующее удаление элемента, не удалит его контейнер и останется пустое место.
