d'Ivan

Как управлять ключами - зависит от логики приложения. Если используется расширение для PHP (что за расширение?), то надо знать под капотом по какой логике создаются ключи в кэше и истекает ли для них срок, после которого они удаляются из памяти. Бездумно отдавать кэш на все про все - 128 МБ памяти не хватает - демон начинает активно искать как освободить память, что ведет к задержкам.
У нас в приложении тоже были задержки свыше 1 секунды, что для Мемкеша что-то экстраординарное. И тоже было связано с заполнением памяти.

Пути решения:
1. добавить память Мемкешу
2. искать способы уменьшения ключей и ограничения срока их жизни.

Apache Parquet вполне может подойти, т.к. это формат хранения, а не движок. Есть реализации на Го. Хранить можно на любом подходящем хранилище. Индексы колонок тоже поддерживаются.

1. Закачать на сервер для раздачи файла при помощи Apache/Nginx/etc.
2. Сгенерировать ссылку на выдачу файла. Показать ее пользователю.

Есть довольно устаревшее ПО: ScanTailor - сайт от поклонника. Раньше располагался в https://sourceforge.net/projects/scantailor/

К примеру, СУБД Apache CouchDB (NoSQL) умеет сама автоматически реплицировать данные автоматически. RQlite вроде бы также.
Альтернативно можно при любых изменениях бота, подписавшись на изменения, отправлять событие по SQS и альтернативных протоколам, которые будет слушать другая копия программы и записывать в локальную БД.

heroku help logs

-t, --tail continually stream logs

https://www.httpdebugger.com/http/http_analyzer.html умеет раскодировать трафик. Можешь отблагодарить авторов софта здесь.

File -> S3 <-> CDN <- Web browser

В интранете наверное на что-то типа MinIO (работает по S3).

2.7 ГБ данных - это немало. Может, сработал таймаут. Можно попробовать увеличить его и попробовать снова.
Надо проверить журнал обработки запросов WP. Там должен быть код статуса запроса и более подробная информация.

СУБД может сама проверить наличие записи перед вставкой либо по первичному ключу либо по другому уникальному ключу.
INSERT ... ON DUPLICATE KEY UPDATE - можно указать какие поля обновлять при нахождении. Допустим, обновить дату, наименование и т.д.
Необходимо добавить уникальный индекс, если отсутствует.

при перестроении индексов запрос начинает заметно тормозить

Я не уверен в этом. Как это было замерено?

Исчерпан лимит использования Free dyno.

Если нужен универсальный инструмент, тогда asdf.

Можно создать директорию достаточно большого размера на свободном разделе, перенести туда все содержимое /var/lib/docker, установить нужные права на директорию, затем создать символьную ссылку в /var/lib/docker на директорию со всеми данными docker.

Тогда sudo ls -l /var/lib/dockerпокажет
типа /var/lib/docker -> /path/to/var-docker

asdf

Аватарка - это другая сущность, которая сбоку от пользователя.