Если дело в одном амперсанде, вытащите его из нужной гарнитуры в FontForge. Я сделал именно так, и тоже для амперсанда. В моём случае заинлайнил в SVG (для одного заголовка раздела норм), но если хочется много текста без потери семантики, то можно запаковать в целевую гарнитуру тем же FontForge.