сделать то можно и без жс (см. ответ выше), но вдруг надо с жс )
надо?
и что именно хотите исправить то
1. чтобы рамка была и после наведения?
2. или чтобы не было до наведения?
а рамка там есть потому, что бакграунд висит на диве и внутрь вставлена картинка без src
собственно браузер и обозначает что там "есть картинка"
по наведению ставится src картинке и т.к. картинка уже "как бы есть" - её "обозначение" браузер убирает
Простой
