Выяснил в чем проблема была. Поставил профайлер BlackFire.io (от SensioLabs). Около 99% времени выполнялась функция curl_exec(). Полез разбираться с ним, оказалось, что запросы к api через curl (использую клиент guzzle) выполнялись иногда очень долго. Поставил флаг выполнение чезер ipv4 и все быстро заработало.
Итог - проблема не в firewall (хотя symfony web-profiler на него указывал), а в преобразовании домена в ip.
