Используйте
sudo apt-get install --no-install-recommends phpmyadmin
И будет вам счастье.
Если раньше были другие версии php и модули для Apache2, надо эти модули деактивировать
sudo a2dismod php5
И проверить, какие параметры настроек php используются в Apache2, чтобы не тянулись старые от прежних версий.
