Почему эластику стало не хватать место в докере?

Question

[MuffinLover]

https://pastebin.com/z889dAmp - Логи elastic, в логах go пусто
Был только elastic в контейнере все было хорошо, засунул туда еще Go
словил вот такую проблему с памятью странную
https://termbin.com/42zg dockerfile
https://termbin.com/3w6y docker-compose.yml
Куда копать?

Comments

[ky0]

Опишите нормально вопрос, нефиг заставлять людей ходить по вашим ссылкам.

[MuffinLover]

ky0,

spoiler

{"@timestamp":"2024-04-21T10:09:35.715Z", "log.level": "INFO", "message":"JVM home [/usr/share/elasticsearch/jdk], using bundled JDK [true]", "ecs.version": "1.2.0","service.name":"ES_ECS","event.dataset":"elasticsearch.server","process.thread.name":"main","log.logger":"org.elasticsearch.node.Node","elasticsearch.node.name":"es-node-1-1","elasticsearch.cluster.name":"es-cluster-1"}
{"@timestamp":"2024-04-21T10:09:35.715Z", "log.level": "INFO", "message":"JVM arguments [-Des.networkaddress.cache.ttl=60, -Des.networkaddress.cache.negative.ttl=10, -Djava.security.manager=allow, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -XX:-OmitStackTraceInFastThrow, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Dlog4j2.formatMsgNoLookups=true, -Djava.locale.providers=SPI,COMPAT, --add-opens=java.base/java.io=org.elasticsearch.preallocate, -Des.cgroups.hierarchy.override=/, -XX:+UseG1GC, -Djava.io.tmpdir=/tmp/elasticsearch-2883326008318259197, --add-modules=jdk.incubator.vector, -XX:CompileCommand=exclude,org.apache.lucene.util.MSBRadixSorter::computeCommonPrefixLengthAndBuildHistogram, -XX:CompileCommand=exclude,org.apache.lucene.util.RadixSelector::computeCommonPrefixLengthAndBuildHistogram, -XX:+HeapDumpOnOutOfMemoryError, -XX:+ExitOnOutOfMemoryError, -XX:HeapDumpPath=data, -XX:ErrorFile=logs/hs_err_pid%p.log, -Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,level,pid,tags:filecount=32,filesize=64m, -Xms1g, -Xmx8g, -XX:MaxDirectMemorySize=4294967296, -XX:InitiatingHeapOccupancyPercent=30, -XX:G1ReservePercent=25, -Des.distribution.type=docker, --module-path=/usr/share/elasticsearch/lib, --add-modules=jdk.net, --add-modules=ALL-MODULE-PATH, -Djdk.module.main=org.elasticsearch.server]", "ecs.version": "1.2.0","service.name":"ES_ECS","event.dataset":"elasticsearch.server","process.thread.name":"main","log.logger":"org.elasticsearch.node.Node","elasticsearch.node.name":"es-node-1-1","elasticsearch.cluster.name":"es-cluster-1"}

"message":"low disk watermark [85%] exceeded on [OtQJGYTdQECmsq3kI6oe6A][es-node-1-1][/usr/share/elasticsearch/data] free: 10.9gb[11.8%], replicas will not be assigned to this node", "ecs.version": "1.2.0","service.name":"ES_ECS","event.dataset":"elasticsearch.server","process.thread.name":"elasticsearch[es-node-1-1][management][T#3]","log.logger":"org.elasticsearch.cluster.routing.allocation.DiskThresholdMonitor","elasticsearch.cluster.uuid":"pFiJUDekTR2AFtcs_3JZHA","elasticsearch.node.id":"OtQJGYTdQECmsq3kI6oe6A","elasticsearch.node.name":"es-node-1-1","elasticsearch.cluster.name":"es-cluster-1"}

Как будто ему памяти не хватает

[MuffinLover]

ky0,

services:
  elasticsearch:
    image: elasticsearch:8.12.2
    environment:
      - discovery.type=single-node
      - cluster.name=es-cluster-1
      - node.name=es-node-1-1
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms1g -Xmx1g"
      - "xpack.security.enabled=true"
      - "ELASTIC_USER=${ELASTIC_USER-elastic}"
      - "ELASTIC_PASSWORD=${ELASTIC_PASSWORD-password1}"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nproc: 65535
      nofile:
        soft: 65535
        hard: 65535
    logging:
      driver: json-file
      options:
        max-size: "10m"
        max-file: "100"
    healthcheck:
      test: ["CMD-SHELL", "curl -f -XGET 'localhost:9200/_cat/health?v' -u $ELASTIC_USER:$ELASTIC_PASSWORD | grep -q 'green'"]
      interval: 1s
      timeout: 15s
      retries: 5000
    ports:
      - "9200:9200"

  grpc-server:
    build: .
    depends_on:
      elasticsearch:
        condition: service_healthy
    env_file:
      - .env
    ports:
      - "50051:50051"

[сергей кузьмин]

MuffinLover, точнее выражаясь диска нехватает
проверьте сколько там

[mayton2019]

Ты говоришь

засунул туда еще Go

Ну так высуни его обратно. И это будет фикс проблемы.

Answer 1

[Everything_is_not_so_bad]

Лучше вынести данные Эластика в отдельный том. Читай про Docker volumes.
https://gist.github.com/anjilinux/f716adba057a2955...

Еще попробуй добавить в docker-compose.yml в environment:

- "cluster.routing.allocation.disk.watermark.low=90%"
      - "cluster.routing.allocation.disk.watermark.high=95%"
      - "cluster.routing.allocation.disk.watermark.flood_stage=97%"

(тег кода портит отступы)
Fix watermark errors