Александр Таратин

cloud9 php

https://github.com/box/spout умеет в поточное чтение и запись.
В базе выключите индексацию перед вставкой. Вставку делайте пачками а не по одной записи.

Хранить в бинарном файле в виде

<sizeof(unique_id) байт unique_id><2 байта длинна строки><json строка><600 минус длинна строки - забить нулями>

Последний сегмент не обязателен, если не требуется быстрый произвольный доступ по индексу к записям в файле.

Используйте апи специализированных сервисов (кучи их) рассылки писем, иначе все в спам посыпется.

www.dot.tk/ru/index.html
Но могут через неделю отобрать, а может и с год провисеть.
+
https://letsencrypt.org/

$this->orderRepository->getList();

Если getList вернул null вместо пустого итерируемого объекта, то это имхо неправильный дизайн самого getList

Для простого форматирования лучше использовать
opensource.box.com/spout/getting-started/#writer
пример вывода в браузер закомментирован

Это у var_dump формат вывода такой с типами.
php.net/manual/ru/function.var-dump.php

Функция отображает структурированную информацию об одном или нескольких выражениях, включая их тип и значение. Массивы и объекты анализируются рекурсивно с разным отступом у значений для визуального отображения структуры.

Если нужно редактировать весь столбец, а не отдельные ячейки по конкретным адресам, то стоит взять opensource.box.com/spout
заточенный под потоковую обработку через итераторы (жрет ресурсов существенно меньше PHPExcel/PhpSpreadsheet)

https://stackoverflow.com/questions/467793/how-do-...

php.net/manual/en/imagick.distortimage.php
php.net/manual/ru/imagick.shadowimage.php

Включите Last-Modified и ETag заголовки
https://webo.in/articles/habrahabr/15-yahoo-best-p...

Пример почему одного Last-Modified не достаточно
https://habrahabr.ru/post/77004/

Попробуйте использовать https://github.com/olamedia/nokogiri

Никак не экранировать и не сериализовать. Просто вставлять и вытаскивать как есть с помощью https://www.w3schools.com/PhP/php_mysql_prepared_s...
php.net/manual/ru/mysqli.quickstart.prepared-state...

// Открываем каждый товар и парсим данные

Тут можно оптимизировать. Можно качать параллельно.
https://github.com/chuyskywalker/rolling-curl
Ну и конечно запускать скрипт как консольное приложение. Вы же похоже через wget или curl какой-нибудь запускаете.

Записывать эти данные в БД я не могу.

Совсем совсем? Ни в какую? Даже просто в файлик на сервере не создать?

Есть сложный джедайский путь взять https://developer.mozilla.org/en-US/docs/Web/API/S... (не поддерживается в ie/edge)
И слать на клиента по одной записи непрерывно.

Тем временем на клиенте писать получаемые данные в https://developer.mozilla.org/ru/docs/IndexedDB/Us...
а при прокрутке уже вытаскивать данные из IndexedDB в необходимом диапазоне.