Для примера, предположим, что есть (сферический в вакууме) CRUD сервис ... Предположим, что точная оценка не требуется. Даже погрешность в несколько раз будет приемлемой.Сервисов в вакууме не бывает, разный код и внешние зависимости будут влиять по-разному на использование ресурсов с разбегом в несколько порядков.
Например, для оценки latency существуют подобные таблицыПутаете физику с лирикой. В приведённой вами таблице значения вырастают из физических и технических ограничений.
Один мудрый человек отсюда посоветовал использовать kubernetes, чтобы снизить нагрузку. То есть, раскидать несколько инстансов нейросетки в kubernetes.Мудрость человека под сомнением, т.к. от распределения нагрузки меньше не станет.
/etc/nginx/templates/ с суффиксом .template./etc/nginx/templates/config.conf.template/etc/nginx/conf.d/config.conf
mysql, приложение должно стучаться в него по этому DNS-имени.