Используй бинарные пакеты, не надо собирать из исходников.
PHP бери в
sury репозитории (потомучто удобно). Если не накосячишь со слоями размер итогового образа не превысит 250 мегабайт.
У тебя получилось больше 600 и это странно, видимо ты забыл стереть мусор или сделал это неправильно, например в другом слое.