Виктор Кожухарь

Первый вариант - если есть прибыль, нанять людей, чтобы написать все с нуля, но уже масштабирование сразу предусмотреть в архитектуре. Зависит от сложности проекта, конечно.

Второй вариант - смотреть первый вариант, только своими силами и переписывать часть функционала, вынося его в микросервисы. В первую очередь вынести то, что под нагрузкой, потом потихоньку остальной функционал. С планами заменить все что нельзя масштабировать, без остановки сервиса.
Под словом микросервисы я вообще не рекомендую ставить микросервисы как самоцель. Можно и микросервисы и макросервисы, важно чтобы было легко затем поддерживать и масштабировать.

Разделить разработку и поддержку.

Разработка - на тестовом енвайрнменте с тестовыми данными
Поддержка - ограниченным кругом доверенных специалистов.

По большей части фреймворки не нужны, для удобства можно использовать сторонние роутеры, которые работают поверх net/http. Например, go-chi, gorilla/mux (его снова начали поддерживать). Можете попробовать Go 1.22 - там как раз нововведения касательно роутера в стандартном пакете, и не придется тянуть сторонние зависимости.

Как реализовать надежную запись списка данных без пропусков значения автоинкремента id?

Никак НЕ РЕАЛИЗОВЫВАТЬ.

Оставь автоинкремент в покое - он обязан обеспечивать только уникальность, и не более. Нужна непрерывная нумерация? Создай для неё ОТДЕЛЬНОЕ поле, и нумеруй программно. Триггеры в помощь.

- знакомые
- hh
- "биржи"
а работа с фрилансерами отдельный скилл, самое главное понимание особенности и учет рисков

ЗЫ а про теги почитай правила

Мне нужно чтобы скрипт работал в фоновом режиме (как запустить его)

Cron.

Как сделать чтобы он брал каждый раз id с файлика, и выполнял php с этим id (GET запросом)

PHP fopen().

Подскажите, как реализовать это.

Покажите код, который у вас есть. Если кода нет, то идите на биржу фриланса и там вам "помогут" за определённую сумму.

Linux скрипт тебе тут вообще не нужен, просто делай всё на уровне PHP.
Потом, когда скрипт работает корректно добавляешь его в cron. Profit.
Использование очередей для такой мелкой задачи не имеет смысла.

Простая и удобная - хз, под требования Drupal подойдет вполне