Можно ли динамически формировать перечень jobs?

Question

[Алексей]

Можно ли формировать перечень jobs в зависимости от изменяемой в репозитории информации?
Условно, есть три файла определенного типа в репозитории - запускаются три задачи по ним.
Добавили четвертый файл - по нему добавилась задача и т.п.

Answer 1

[VoidVolker]

Да, можно настроить триггер запуска задачи при изменении определенного файла или каталога:
https://docs.gitlab.com/ee/ci/yaml/#ruleschanges

docker build:
  script: docker build -t my-image:$CI_COMMIT_REF_SLUG .
  rules:
    - if: $CI_PIPELINE_SOURCE == "merge_request_event"
      changes:
        - Dockerfile
      when: manual
      allow_failure: true

docker build alternative:
  variables:
    DOCKERFILES_DIR: 'path/to/dockerfiles'
  script: docker build -t my-image:$CI_COMMIT_REF_SLUG .
  rules:
    - if: $CI_PIPELINE_SOURCE == "merge_request_event"
      changes:
        - $DOCKERFILES_DIR/**/*

Если такой вариант не устраивает и надо выполнить какой-то скрипт и по его результатам запускать задачи, то у гитлаба есть API и через него можно запустить любую задачу: https://docs.gitlab.com/ee/ci/triggers/#trigger-a-...

Comments

[Алексей]

Спасибо, только, похоже, не совсем правильно я сформулировал...

Есть объекты, по количеству которых хочется сформировать однотипные джобы...
Если три объекта - три джоба, добавили четвертый объект - такой же типичный джоб выполнился и для него.

Т.е. не подготовить заранее N джобов в одной стадии и запускать их выборочно по событиям, а сделать цикл и повторять _один_ джоб для каждого объекта.

[VoidVolker]

Алексей, дык я же и написал, что если надо какую-то свою логику - пишите скрипт и дергаете задачу по апи.

[Алексей]

VoidVolker, снова спасибо.
Попробовал через апи - частично получилось.

Только перебором через апи у меня формируется не набор задач, а набор отдельных пайплайнов.
И вместо красивого итога - один пайплайн с N джобов получается: основной пайплайн + N _пайплайнов_

А есть ли вариант все-таки в рамках _одного_ пайплайна формировать перечень джобов динамически?
Чтобы их junit репорты в одной кучке были.

Сейчас проектов пять - можно, конечно, ручками просто повторить пять раз один джоб, меняя только его входную переменную - имя проекта. Но некрасиво...

PS Сейчас у меня получилось вот так:

launch_job:
  stage: tests
  variables:
    PROJECT_LIST: project1.xml project.xml2 ... projectN.xml
  script:
    - |
      for PROJECT in $PROJECT_LIST
      do
        curl -X POST --fail -F token=TOKEN -F ref=job-branch variables[PROJECT]=$PROJECT http://...
      done
  only:
     - launch-branch

routine_job:
  stage: tests
  script:
    - testrunner.sh $PROJECT 
  only:
     - job-branch

[VoidVolker]

Хмм, можно попробовать через динамические пайплайны: https://blog.devops.dev/using-dynamic-pipelines-in...
Скриптом формировать файл со списком нужных задач и следующей задачей этот список инклюдить и запускать. Я эту фичу не щупал - так что не знаю, как оно работает. Но должно работать по идее.

Answer 2

[Евгений Хлебников]

В соседнем ответе в комментариях добрались до истины: dynamic-child-pipelines
Есть определенные ограничения: типа лучше засовывать CI переменные в генерируемый пайплайн при его генерации, а так же есть определенные сложности при передаче артефактов генерируемых динамическим пайплайном обратно в общий CI.
Но если хочется делать однотипные пайплайны без копипасты блока в .gitlab-ci.yml то это - решение