GitlabCI как правильно сделать зависимый джоб?

Question

[Николай Бараненко]

Рассмотрим кейс

есть 2 отдельных файла которые решают задачу с интеграционным тестированием

первый без использования kafka второй с использованием,

include:
# PRODUCT
  - project: 'gitlabci/integration-test'
    ref: dev_v2
    file: 
      - 'spark/.base_integration_test.yml'
      - 'spark/.base_integration_test_with_kafka.yml'

выбором того или иного сценария тестирования хотелось бы сделать по ходу выполнения pipeline
в предварительном stage перед запуском интеграционного тестирования
или

.base_integration_test: 
  variables:
    COVERAGE_SOURCE: "./src"
  extends: .base_integration_test

или

.base_integration_test__with_kafka:
  variables:
    COVERAGE_SOURCE: "./src"
  extends: .base_integration_test_with_kafka

разница в extends:

Как это лучше сделать?

Comments

[ZIK1337]

не видно отличий в extends

[Николай Бараненко]

ZIK1337,

extends: .base_integration_test
vs
extends: .base_integration_test_with_kafka

[ZIK1337]

это понятно, а вопрос то в чем? будут 2 разные джобы, правила выполнения которых описаны в этих подключенных джобах через extends

[Николай Бараненко]

ZIK1337,

я попытался сделать так

сделал stage, в котором определяется нужны тесты с KAFKA или нет
variables: CICD_KAFKA_HOST

prepare_test:
  image: $CI_REGISTRY/platform/docker-images/vault:1.8
  stage: prepare_test
  script:
    - export CICD_KAFKA_HOST=$(cat test/fixtures.py | grep KAFKA_HOST)
    - >
      if [ "$CICD_KAFKA_HOST" != "" ]; then
        export CICD_KAFKA_HOST="true"
      else
        export CICD_KAFKA_HOST="false"
        echo "CICD_KAFKA_HOST=$CICD_KAFKA_HOST" >> dotenv.env
      fi
    - env | sort -f
  artifacts:
    reports:
      dotenv:
        - dotenv.env
    expire_in: 6000 seconds

далее шаг тестирования

integration_test:
  variables:
    COVERAGE_SOURCE: "./src"
  extends: .base_integration_test
  dependencies:
    - prepare_test
  rules:
    - if: $CICD_KAFKA_HOST == "false"
    - when: never

но этот джоб никогда не запускается, видимо потому что при первоначальном запуске pileline
variables: CICD_KAFKA_HOST

никак не определено

[ZIK1337]

Николай Бараненко, ага, в рулы все данные перед запуском пайплайна подставляются и в итоговом пайпе уже только те джобы, рулы которых выполняются
На уровне рулов скорее всего только через чайлд пайпланы (триггеры) можно будет сделать
В джобе с триггером как раз использовать эту вычисляемую переменную (которая попадет в чайлд), а в чайлд пайплайне уже и подключать эти файлы

[Николай Бараненко]

ZIK1337,

сработало так

prepare_test:
  image: $CI_REGISTRY/platform/docker-images/vault:1.8
  variables:
    CONTEXT_TEST: |
      include:
      # PRODUCT
        - project: 'gitlabci/integration-test'
          ref: dev_v2
          file: 
            - 'spark/.base_integration_test.yml'
            - 'spark/.base_integration_test_with_kafka.yml'   
      integration_test:
        variables:
          COVERAGE_SOURCE: "./src"  
    INTEGRATION_TEST: |
      $CONTEXT_TEST
        extends: .base_integration_test
    INTEGRATION_TEST_WITH_KAFKA: |
      $CONTEXT_TEST 
        extends: .base_integration_test_with_kafka  
  stage: prepare_test
  script:
    - export CICD_KAFKA_HOST=$(cat test/fixtures.py | grep KAFKA_HOST)
    - >
      if [ "$CICD_KAFKA_HOST" != "" ]; then
        export CICD_KAFKA_HOST="true"
        echo "$INTEGRATION_TEST_WITH_KAFKA" >> test.yml
      else
        export CICD_KAFKA_HOST="false"
        echo "$INTEGRATION_TEST" >> test.yml
      fi
    - env | sort -f
  artifacts:
    paths:
      - test.yml
    expire_in: 6000 seconds

# --------------- Integration test --------------- ###
integration_test:
  stage: test 
  trigger:
    include:
      - artifact: test.yml
        job: prepare_test
    strategy: depend

теперь еще один вопрос

в результате работы выполнения Child Job
формируется артифакт в виде файла, как его вернуть в Perent?

[ZIK1337]

Николай Бараненко, хм, не пробовал так, просто как обычные артифакты недоступны?
в доке об этой ситуации только такое есть

In GitLab 13.5 and later, artifacts for parent and child pipelines are searched in hierarchical order from parent to child. For example, if both parent and child pipelines have a job with the same name, the job artifact from the parent pipeline is returned.

надо тестировать, либо переносить логику в дочерний пайп (ямл файл с ним можно заранее создать в репе и передавать только переменную туда)

[Николай Бараненко]

ZIK1337, кстати не хочешь написать ответ на этот вопрос и я его закрою?

[ZIK1337]

Николай Бараненко, напишу, а решил проблему то с артифактами в чайлд пайплайне?

[Николай Бараненко]

описал здесь

https://habr.com/ru/post/646587/

Answer 1

[ZIK1337]

В комментариях пообсуждали
В рулы все переменные подставляются до запуска пайплайна и в итоговом пайплайне только подходящие джобы остаются, поэтому вычисляемые в других джобах переменные в рулах нельзя использовать (в родительском пайплайне)
Для этого нужны триггеры, тогда в чайлд пайплайн уже нормально подставится вычисляемая переменная и останутся только нужные джобы