Вставляют не картинки, а псевдо иконки, а точнее шрифтовые иконки реализуемые через классы CSS. Страшного ничего нет. И кстати
Bootstrap отказался вовсе не из-за тега
i, а в силу того, что стали использовать уже готовую библиотеку
glyphicons, тем самым сняв с себя обязательства по поддержке встроенных иконок. Вас так же никто не ограничивает использовать тот же
Font Awesome, который был написан специально под Boostrap.