Станислав Бодро́в

подскажите пожалуйста как лучше организовать работу микросервисов

Это гооловная боль программистов. Задача девопс предоставить им среду исполнения и организовать сетевую связность. DDD и прочие шаблоны удел программистов.

Стоит ли разворачивать БД в докере, или лучше на хосте, или вообще на другой машине, почему, и какие могут быть подводные камни?

Тут многое зависит от проекта. Если это наколенный сайт, коих подавляющее большинство, можно сильно не заморачиваться и лепить всё на одном хосте. Но есть правило хорошего тона: разносить хранилище данных (СУБД) и среду обработки данных (обычно бэкенд). Потому что бэкенд может скалироваться горизонтально без особых проблем (но программисты и тут не дремлют), с базами такой номер далеко не всегда проходит. Второй момент: обновление кода (бекенда) не должно аффектить данные (СУБД). Но блин проклятые миграции, миграции, миграции.
Поэтому когда есть возможность разделай код и базы по разным хостам, чтобы спать спокойно. Когда совсем хреново с деньгами и бизнес трясётся за каждую копейку (собственно как всегда), смело лепи на одном хосте (но только не в одном контейнере, не уподобляйся некоторым отечественным компаниям в сфере безопасности). И не парься это совершенно не твоя забота. Ты работаешь с тем что есть.

Какие вещи и нюансы в linux надо знать для настройки и поддержки CI CD сервера?

Иногда поназапускают пайплайнов. Ресурсов перестаёт хватать.

Что не стоит запускать в kubernetes?

Там больше стоит вопрос - "Кого не стоит пускать?"

Нужен ли мне kubernetes?

Зачем тебе навороченная фура со встроенным погрузчиком, холодильником и цистерной, если тебе достаточно простой Газели?
k8s - это инструмент под определённые цели, с определёнными требованиями.

В кубере привлекает система деплоя "брось dockerfile/docker-compose и забудь",

Да конечно, как же. Иногда пока бросишь, забыться хочется.

Время от времени нужно обновлять AMIs используемые в launch templates

Явный намёк на иммутабельную (неизменяемую) инфраструктуру. Best practice подсказывает, что свежеиспечённый образ должен быть очищен от ненужного и установлено всё необходимое. Затем всё протестировано и проверено.

Подходит ли Terraform для этого?

Для развёртывания / обновления с новым AMI? Да.
Для создания нового образа с требуемыми настройками? В принципе можно накрутить user data, но всё рано будет не тот фасон. Для этих целей больше подходит Ansible.

Подскажите что подразумевается под знанием Прометея с Графаной?

Установка, настройка, кастомизация.

кто пишет экспортеры

Обычно готовые берут. Их много и разных.

Пришел запрос в поддержку, локализовали его на стейдже к примеру, есть догадки почему это происходит

Уже хорошо. Ищите проблему.

1. Сбилдил образ -> запушил в registry. Например в docker.io
2. Запускаю образ на сервере с нужными переменными окружения на определенном порту
3. ....

Обыкновенный процесс деплоя из области CI/CD. Можно готовый образ сразу отправлять на целевой сервер и там его запускать как душе угодно. Кто-то пишет небольшую политику для Ansible, которая всё делает.

Этот функционал лучше всего решают системы оркестрации контейнерами.

1. Как должны быть распределены пользователи и группы nginx, php-fpm, проекта? (т.е. от кого процесс запускается, и кто в какую группу входит)

Уже правильно распределены.

2. Где правильно располагать папку проекта, под чьими правами и какие там должны быть разрешения для файлов и папок?

Желательно отдельный выделенный радел, чтобы можно было понакрутить в параметрах монтирования всякие nosuid, nodev. Хотя и так сойдёт. Пользователь nginx или кто там ещё есть.

3. Нужно ли отключать SELinux?

Не нужно. Если умеешь его готовить, то всё остальное не нужно.

4. Или я всё делаю неправильно и нужно использовать docker?

Изоляция, которую даёт docker, не основная его функция.