В /etc/apache2/conf-available/phpmyadmin.conf нужно перенести конфиг /etc/phpmyadmin/apache2.conf
А потом в терминале шлёпаем sudo a2enconf phpmyadmin
Апач чего то не увидел конфиг pma и выводил 404.
UPD:
Спустя год понял в чем соль. Когда выбираешь веб сервер для pma, нужно было стрелочками и пробелом выбрать нужный, а не шлёпать везде Enter.
