Как избавиться от дубликатов в логе Loki?

Question

[Антон Мисягин]

Привет всем, только начал знакомство с менеджером логов Loki. Делаю первые шаги, хочу попробовать обработать файл лога nginx

Nginx выключен, за него я сам пробую писать лог руками:

65.95.167.32 - [04/Sep/2022:17:05:59 +0000] 502 559 "OPTIONS /api/v1/system/settings HTTP/2.0" [uid=-]
65.95.167.32 - [04/Sep/2022:17:06:05 +0000] 502 559 "GET / HTTP/2.0" [uid=-]

version: "3.9"
networks:
  loki:
services:
  loki:
    image: grafana/loki:2.6.2
    ports:
      - "3100:3100"
    volumes:
      - ./config/docker/loki/loki-config.yaml:/etc/loki/local-config.yaml
    command: -config.file=/etc/loki/local-config.yaml
    networks:
      - loki
  promtail:
    image: grafana/promtail:2.6.2
    volumes:
      - ./log:/var/log
      - ./config/docker/promtail/promtail-config.yaml:/etc/promtail/config.yaml
    command: -config.file=/etc/promtail/config.yaml
    networks:
      - loki
  grafana:
    image: grafana/grafana:8.3.2
    container_name: grafana
    volumes:
      - ./docker-data/db/grafana:/var/lib/grafana
    ports:
      - "6000:3000"
    networks:
      - loki

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://loki:3100/loki/api/v1/push

scrape_configs:
  - job_name: nginx
    static_configs:
      - targets:
          - localhost
        labels:
          job: nginx
          __path__: /var/log/nginx/*log

docker-compose up:


Подхожу к сути вопроса: Теперь я добавляю в файл лога 1 строку и нажимаю сохранить файл, что я вижу в локи:

Как видно строки задублировались. Неожиданное поведение. Как избавится от этого?

P.S. версию ниже 2.4.2 ставил - не помогло
Похожая проблема
Похожая проблема

Answer 1

[vreitech]

> Теперь я добавляю в файл лога 1 строку и нажимаю сохранить файл
подозреваю, что примерно тут кроется проблема. nginx не нажимает сохранить файл, а вы нажимаете. а при нажатии сохранить файл может происходить всякая мура наподобие полного удаления файла и создания вместо него нового, который по этой причине воспринимается системой сбора логов как новый файл и добавляется полностью.

Comments

[Антон Мисягин]

Вообще, да) Экспериментально попробовал на бою не дублируются

Answer 2

[Saboteur]

вместо сохранения файла, делай
echo "blabla" >> log