Вроде понятно, но можно чуть подробнее? Понимаю, что в гугле скорее всего оно есть, но я, наверное, не так ищу, так найти конкртеного ответа не могу....
Идем в админку, внешний вид->меню, далее в правом верхнем меню страницы жмём на "Настройки экрана" и там ставим галочку у чекбокса "Классы CSS". Теперь у каждого пункта меню можно задать специальные классы. Теперь добавим пункт меню "Произвольные ссылки", вбиваем название кнопки, вбиваем адрес например #modal и добавляем его в меню. Теперь в меню разворачиваем этот пункт меню и дописываем класс "my-super-button" которому в css задаём значения .my-super-button {...} или .my-super-button a {...} и .my-super-button a:hover {...}. Это что касается внешнего вида. А с модальным окном не буду описывать, поищите сами, там просто способов это сделать очень много и наверняка если я предложу свой способ то он будет не оптимальным