Kubernetes: не получается добавить custom service-monitor?

Question

[SSSSTTTTAAAASSSS]

Добрый день.
В данный момент установлен prometheus c помощью Helm3 от сюда

Он вроде как работает, снимает метрики с моих подов, которые все находятся в одном node.
Вопрос состоит в следующем, что мой сервис по адресу :8085/posts/metrics - уже снимает метрики в нужном формате для Prometheus-а. Экспортер не нужен. Соответственно, насколько я понял, мне надо добавить новый service-monitor с указанным адресом снятия метрик.
К сожалению не могу найти найти информации, как правильно это сделать.
Из того что нашел - это вот этот пост на stackoverflow:

Насколько я понял - мне требуется добавить сначала сервис, а потом уже прописать отдельно yaml файл для service-monitor, чтобы их увидел prometheus и grafana, или могу добавить к информацию к уже существующему сервису, который снимает метрики, и добавить отдельно service-monitor?
Пытался сделать по аналогии, но где-то неправильно что-то прописываю, т.к. не видит prometheus

# Service targeting gitlab instances
apiVersion: v1
kind: Service
metadata:
  name: http-metrics
  labels:
    app: http-metrics
spec:
  ports:
  - name: metrics 
    port: 8085 
    endpoints: /posts
    targetPort: metrics
    protocol: TCP
  selector:
    app: http-metrics
---
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: http-metrics-servicemonitor
  # Change this to the namespace the Prometheus instance is running in
  # namespace: default
  labels:
    app: http-metrics
    release: stable
spec:
  selector:
    matchLabels:
      app: http-metrics
  endpoints:
  - port: metrics
    interval: 15s

На всякий случай yaml файл servicemonitor/stable-kube-prometheus-sta-prometheus

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  annotations:
    meta.helm.sh/release-name: stable
    meta.helm.sh/release-namespace: default
  creationTimestamp: "2021-10-18T10:24:23Z"
  generation: 1
  labels:
    app: kube-prometheus-stack-prometheus
    app.kubernetes.io/instance: stable
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/part-of: kube-prometheus-stack
    app.kubernetes.io/version: 19.1.0
    chart: kube-prometheus-stack-19.1.0
    heritage: Helm
    release: stable
  name: stable-kube-prometheus-sta-prometheus
  namespace: default
  resourceVersion: "73416"
  uid: ec1765a2-cb48-4cd7-8a41-3041a9260e09
spec:
  endpoints:
  - path: /metrics
    port: web
  namespaceSelector:
    matchNames:
    - default
  selector:
    matchLabels:
      app: kube-prometheus-stack-prometheus
      release: stable
      self-monitor: "true"

Заранее спасибо за любую помощь

Answer 1

[Иван Корюков]

Prometheus-operator следит за созданием сервисмониторов в определённых неймспейсах, и фильтрует сервисмониторы по лейблам.
Соответственно, вам необходимо посмотреть в манифесте прометеуса, какие значения там выставлены, и создать свой сервисмонитор с соответсвующем неймспейсе с необходимыми лейблами.

Comments

[SSSSTTTTAAAASSSS]

Доброе утро Иван Корюков @MadridianFox

Спасибо за подсказку в каком направлении смотреть, но все равно не что-то не работает в моих манифестах.
Вот yaml файл prometheus-operator service:

apiVersion: v1
kind: Service
metadata:
  creationTimestamp: "2021-10-18T10:24:47Z"
  labels:
    operated-prometheus: "true"
  name: prometheus-operated
  namespace: default
  ownerReferences:
  - apiVersion: monitoring.coreos.com/v1
    kind: Prometheus
    name: stable-kube-prometheus-sta-prometheus
    uid: 207dad67-f0c1-4f3e-aaa2-02a2dc00c5b5
  resourceVersion: "73545"
  uid: cfdd1fcb-ed93-425b-857f-3179ed60c79e
spec:
  clusterIP: None
  clusterIPs:
  - None
  internalTrafficPolicy: Cluster
  ipFamilies:
  - IPv4
  ipFamilyPolicy: SingleStack
  ports:
  - name: web
    port: 9090
    protocol: TCP
    targetPort: web
  selector:
    app.kubernetes.io/name: prometheus
  sessionAffinity: None
  type: ClusterIP
status:
  loadBalancer: {}

вот манифест prometheus servicemonitor

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  annotations:
    meta.helm.sh/release-name: stable
    meta.helm.sh/release-namespace: default
  creationTimestamp: "2021-10-18T10:24:23Z"
  generation: 1
  labels:
    app: kube-prometheus-stack-operator
    app.kubernetes.io/instance: stable
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/part-of: kube-prometheus-stack
    app.kubernetes.io/version: 19.1.0
    chart: kube-prometheus-stack-19.1.0
    heritage: Helm
    release: stable
  name: stable-kube-prometheus-sta-operator
  namespace: default
  resourceVersion: "73424"
  uid: 3a7c543b-6023-4c06-899b-94c07edc132a
spec:
  endpoints:
  - honorLabels: true
    port: https
    scheme: https
    tlsConfig:
      ca:
        secret:
          key: ca
          name: stable-kube-prometheus-sta-admission
          optional: false
      serverName: stable-kube-prometheus-sta-operator
  namespaceSelector:
    matchNames:
    - default
  selector:
    matchLabels:
      app: kube-prometheus-stack-operator
      release: stable

а вот соответственно мои манифесты сервиса и сервисмонитор

apiVersion: v1
kind: Service
metadata:
  name: http-monitor-svc
  labels:
    app: http-monitor-svc
    kube-prometheus-stack-operator: http-monitor-svc
    app.kubernetes.io/instance: stable
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/part-of: kube-prometheus-stack
    app.kubernetes.io/version: 19.1.0
    release: stable
  annotations:
    prometheus.io/scrape: "true"
    prometheus.io/path: /posts/metrics
    prometheus.io/port: "8085"
  namespace: default
spec:
  ports:
    - name: http-http #ссылается на deployment моего сервиса, который собирает метрики по пути :8085/posts/metric
      port: 8090
      targetPort: 8085
      protocol: TCP
  selector:
    app: http-http
    release: stable

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: http-monitor
  labels:
    app: http-monitor-svc
    app.kubernetes.io/instance: stable
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/part-of: kube-prometheus-stack
    app.kubernetes.io/version: 19.1.0
    release: stable
  namespace: default
spec:
  jobLabel: myCounter
  selector:
    matchLabels:
      app: http-monitor-svc
      release: stable
  namespaceSelector:
    matchNames:
      - default
  endpoints:
    - port: http-monitor-svc
      interval: 10s
      path: /posts/metrics

На всякий случай манифест deployment-а сервиса, который передает метрики

apiVersion: apps/v1
kind: Deployment
metadata:
  name: http-http-deployment
  annotations:
    prometheus.io/scrape: "true"
    prometheus.io/path: /posts/metrics
    prometheus.io/port: "8085"
  labels:
    app: http-http
spec:
  replicas: 1
  selector:
    matchLabels:
      app: http-http
  template:
    metadata:
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/path: /posts/metrics
        prometheus.io/port: "8085"
      labels:
        app: http-http
        release: stable
    spec:
      containers:
        - name: http-http
          image: stasbigunenko/http_http
          env:
            - name: PORT_HTTP
              value: ":8085"
            - name: GRPC
              value: "grpc-service:9000"
          ports:
            - containerPort: 8085

В нем не указывал namespace..
Заранее спасибо

П.С.: в интерфейсе прометеуса в service discovery он у меня его видит, но targets 0. Не пойму как мне ему таргет передать, или опять ж где-то с namespaces-ами натупил...

[SSSSTTTTAAAASSSS]

Перепробовал уже все.
Уже поназывал везде одинаково, где только можно было и все равно в таргетах не видит

apiVersion: v1
kind: Service
metadata:
  name: http-monitor-svc
  labels:
    app: http-http
    release: stable
  annotations:
    prometheus.io/scrape: "true"
    prometheus.io/scheme: http
    prometheus.io/path: /posts/metrics
    prometheus.io/port: "8085"
  namespace: default
spec:
  ports:
    - name: http-http
      port: 8085
      protocol: TCP
  selector:
    app: http-http
    release: stable

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: http-monitor
  labels:
    app: http-http
    release: stable
  namespace: default
spec:
  jobLabel: myCounter
  selector:
    matchLabels:
      app: http-http
      release: stable
  namespaceSelector:
    matchNames:
      - default
  endpoints:
    - port: http-http

Понимаю что где-то натупил с name-ми, но уже запутался в край и не могу ниче сообразить...

Answer 2

[SSSSTTTTAAAASSSS]

Благодаря подсказке Иван Корюков Иван Корюков
Вроде разобрался и у меня все завелось.
Если кому-то будет интересно вот мои манифесты
deployment

apiVersion: apps/v1
kind: Deployment
metadata:
  name: http-http-deployment
  annotations:
    prometheus.io/scrape: "true"
    prometheus.io/path: /posts/metrics
    prometheus.io/port: "8085"
  labels:
    app: http-http
spec:
  replicas: 1
  selector:
    matchLabels:
      app: http-http
  template:
    metadata:
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/path: /posts/metrics
        prometheus.io/port: "8085"
      labels:
        app: http-http
        release: stable
    spec:
      containers:
        - name: http-http
          image: stasbigunenko/http_http
          env:
            - name: PORT_HTTP
              value: ":8085"
            - name: GRPC
              value: "grpc-service:9000"
          ports:
            - containerPort: 8085

service

apiVersion: v1
kind: Service
metadata:
  name: http-monitor-svc
  labels:
    app: http-http
    release: stable
  annotations:
    prometheus.io/scrape: "true"
    prometheus.io/scheme: http
    prometheus.io/path: /posts/metrics
    prometheus.io/port: "8085"
  namespace: default
spec:
  ports:
    - name: http-http
      port: 8085
      protocol: TCP
  selector:
    app: http-http
    release: stable

servicemonitor

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: http-monitor
  labels:
    app: http-http
    release: stable
  namespace: default
spec:
  jobLabel: myCounter
  endpoints:
    - port: http-http
      path: posts/metrics
  selector:
    matchLabels:
      app: http-http
      release: stable
  namespaceSelector:
    matchNames:
      - default