1. Регистрируете custom taxonomy 'letter'.
2. Заводите в ней термины для букв.
3. Назначаете статьям соответствующие термины. Можно автоматизировать - на хук save_post повесить автоназначение нужной буквы. Также можно пройтись по всем статьям автоматом и назначить.
4. Все остальное идет из коробки - на фронте буквы выводите как термины, с их ссылками. Страница архива термина и будет словарем со статьями на эту букву. Плюс сразу красивые ЧПУ.
5. Дополнительный (важный) бонус использования таксономии - быстрые запросы. Вместо того чтобы перебирать текстовые поля и проверять первую букву.