На сайте в админке происходит загрузка файла через админский bulk-worker. файлы грузятся на s3 с обработчика. Но сайт ложится и выдает ошибку 503. При этом БД работает и грузит строки, а сайт нет. Пока не загрузит бд все строки, сайт не заработает.
Судя по обилию emoji в примере кода автору надо ssh доступ дать к серверу той же ИИшке чтобы она и логи посмотрела
А так фоновая обработка + polling статуса о готовности
классика — обработка в веб-реквесте жрёт все php-fpm воркеры и сайту не на чем отвечать. Вынеси в фон: cli-скрипт по крону или очередь на redis. В вебе только сохраняй задание в бд и показывай прогресс.