У вас все server{} указывают на одну общую директорию, в которой ещё и phpMyAdmin валяется? Тогда сделайте хотя-бы
location /phpMyAdmin/ {
if ($host != "1.2.3.4") {
return 444;
}
allow 1.2.3.4;
allow 55.66.77.88;
deny all;
}
И так - в каждом server{...}.