У вас похоже nginx в контейнере не передает инфу в php-fpm о том что https используется
fastcgi_param REQUEST_SCHEME https;
или (пишу по памяти, пардоньте)
fastcgi_param HTTPS on;
а вообще по классике - создайте файл info.php с содержимым
<?php phpinfo(); ?>
и посмотрите что там прилетает заголовками в php
UPD: если кто пришел с гугла сюда, чтоб не страдали - убрал кавычки лишние, подробности в комментариях