Объясните на пальцах, как приготовить CI с помощью GitLab, GitLab runner, docker, php?

Question

[Анатолий Солдатов]

Изучаю непрерывное интегрирование. Пытаюсь разобраться в базовых процессах и никак у меня в голове не сложится картина.

Дано:
1. Сервер где установлен GitLab, там лежит проект на PHP. Файл index.php с содержанием <?php phpinfo();.

2. Виртуальная машина с CentOS 7.
2.1. На ней установил docer.

bash

docker -v
Docker version 19.03.7, build 7141c199a2

2.2 Установил GitLab runner в виде отдельного контейнера по инструкции.

bash

docker run -d --name gitlab-runner --restart always \
  -v /docker/gitlab-runner/volumes/config:/etc/gitlab-runner \
  -v /var/run/docker.sock:/var/run/docker.sock \
  gitlab/gitlab-runner:latest

2.3 Зарегистрировал runner в GitLab.

bash

docker run --rm -t -i -v /docker/gitlab-runner/volumes/config:/etc/gitlab-runner gitlab/gitlab-runner register

Получился такой конфиг.

config.toml

concurrent = 1
check_interval = 0

[session_server]
  session_timeout = 1800

[[runners]]
  name = "xxxRunner"
  url = "http://_xxx_/gitlab/"
  token = "_xxx_"
  executor = "docker"
  [runners.custom_build_dir]
  [runners.cache]
    [runners.cache.s3]
    [runners.cache.gcs]
  [runners.docker]
    tls_verify = false
    image = "alpine:latest"
    privileged = false
    disable_entrypoint_overwrite = false
    oom_kill_disable = false
    disable_cache = false
    volumes = ["/cache"]
    shm_size = 0

2.4 Стартую runner. В GitLab вижу его активным.

3. В проекте создал тестовый .gitlab-ci.yml файл:

.gitlab-ci.yml

job1:
  script:
    - php -v
job2:
  script:
    - php -v

После пуша и запуска pipelines, job падает с ошибкой. Наверно, потому что в контейнере runner нет php.

job

Running with gitlab-runner 12.8.0 (1b659122)
  on _xxx_Runner 50b311ce
Using Docker executor with image alpine:latest ...
Pulling docker image alpine:latest ...
Using docker image sha256:e7d92cdc71feacf90708cb59182d0df1b911f8ae022d29e8e95d75ca6a99776a for alpine:latest ...
Running on runner-50b311ce-project-8-concurrent-0 via 2333629aca2f...
Fetching changes...
Reinitialized existing Git repository in /builds/gitlab/_xxx_/_xxx_/.git/
From _xxx_
   2c41219..48aa22e  master     -> origin/master
Checking out 48aa22eb as master...

Skipping Git submodules setup
/bin/sh: eval: line 56: php: not found
$ php -v
ERROR: Job failed: exit code 127

На этой стадии застрял, не пойму что дальше.

Что нужно:
Контейнер с apache+php7 (не знаю какой выбрать). Внутри контейнера проект на php.
После пуша, нужно чтобы проект выкачался из гита, образ и контейнер пересобрались с обновлениями из master ветки.

Вопросы:
Правильно ли устанавливать gitlab runner в контейнер?
Правильная ли конфигурация gitlab runner?
Команды из .gitlab-ci.yml выполняются внутри контейнера раннера или хоста докера?
Если команды выполняются внутри runner контейнера, как мне выкачать проект из гита и положить его на хосте?
Как мне проект передать в другой контейнер с php, через volumes?

Подскажите, пожалуйста, простой рецепт, как настроить деплой на php проекте.

Comments

[Сергей Попов]

В конкретно данной ситуации вы для сборки используете докер образ, который по умолчанию не включает в себя php.
Предлагаю вам немного заменить файл .gitlab-ci.yml следующим содержимым:

image: php:7.4-alpine
job1:
  script:
    - php -v
job2:
  script:
    - php -v

Либо же любым иным подходящим вашей ситуации. Также можно при сборке образа установить php. Делается это в секции beforeScript. Но лучше все же воспользоваться готовой.

[mureevms]

> Подскажите, пожалуйста, простой рецепт, как настроить деплой на php проекте.

Чтобы дать ответ, надо знать
1. Как вы деплоете руками?
2. Машина с раннером и машина с приложение - это одна или разные?
3. В каком окружении работает приложение? В докере или прямо в системе?

[Анатолий Солдатов]

Сергей Попов,

image: php:7.4-alpine

А как это работает? Внутри контейнера раннера, из образа php:7.4-alpine создаться контейнер php:7.4-alpine, и в нем выполнятся команды?
(host_machine [gitlab_runner [php:7.4-alpine]])

mureevms,

1. Как вы деплоете руками?

Сейчас, можно сказать, никак. Как раз этот деплой надо сделать.

2. Машина с раннером и машина с приложение - это одна или разные?
3. В каком окружении работает приложение? В докере или прямо в системе?

Попробую ответить схемой:


Схема не доработана, потому что не знаю как.
1. Правильно, что GitLab runner вынесен в отдельный контейнер? Или его нужно было как приложение VDS хост машины ставить? Если смотреть доку, то инструкция по установке в виде приложения старая, и не обновляется. Наводит на мысль, что это старые методы. И предполагается GitLab runner ставить в виде контейнера.
2. Инструкции .gitlab-ci.yml будут выполнять внутри Gitlab runner контейнера. Понимаю как выкачать проект и положить в определенное место (App файлы проекта). А как мне потом запустить (для создания двух образов и контейнеров из Dockerfile) инструкции из docker-compose.yml? Ведь этот файл будет лежать на VDS host машине, и запускать (docker-compose build) его надо там же. Разве можно из контейнера GitLab runner выполнить команды на host машине чтобы запустился docker-compose build?

[mureevms]

Касательно вопросов по схеме:
> 1. Правильно, что GitLab runner вынесен в отдельный контейнер?
В принципе, нельзя сказать правильно это или нет. Все зависит от того, что и как происходит дальше.
> 2. Инструкции .gitlab-ci.yml будут выполнять внутри Gitlab runner контейнера
Они будут выполняться там, где установлен раннер.

Я посоветовал бы следующее: GitLab runner должен быть установлен в систему, а не в докере, поскольку далее вам необходимо запускать docker команды, а не просто скрипты сборки или чего-то еще.

Касательно архитектуры. Вы уверены, что вообще хотите использовать Docker в качестве решения? Если нет, то используйте просто git pull плюс переназначте права на файлы на пользователя веб сервера и живите спокойно.
Если же хотите в докере, то проработайте архитектуру, вот для примера мой проект, который работает уже несколько лет. Сделайте проект руками. Затем поймите как будете доставлять код из репы. И тогда вы сразу поймете как именно сделать его автоматическую доставку.

[Сергей Попов]

Анатолий Солдатов, да, именно так это работать и будет. В вашем случае дергается просто alpine-овский образ, что видно из лог файлов.

[mureevms]

Сергей Попов, человек не понимает как оно работает. Ему нужно или начать понимать, или же дать руководство на пошаговое хауту, которое в данном случае невозможно, поскольку автор занимается кастомизацией.
В подсказке про образ у него заработает команда внутри контейнера, но он не знает как этим пользоваться дальше. Поэтому без вариантов, ему надо вникать в тему.

Answer 1

[akdes]

Во первых, посоветую Вам взять тот-же alpine или любой другой docker image,

1. запустить у себя на компьютере
docker run -it *IMAGE* sh
или
docker run -it *IMAGE* bash
и установить всё необходимое для постройки. php, curl, composer.. в зависимости от проекта.

2. далее, на основе Ваших действий составить dockerfile
FROM image

RUN apk update && apk add php7-fpm curl...

3. С помощью COPY/ADD скопировать проект в контейнер (для симуляции процесса). И выполнить необходимое в контейнере для постройки проекта.

4. Необходимые команды скопировать в gitlab-ci.yaml

Учтите, если Вы хотите упаковывать Ваш проект в докер, к примеру для запуска в k8s, Вам необходимо использовать dind (docker in docker) либо gitlab runner должен работать напрямую, не в докер. Ибо в противном случае Вы не сможете запустить docker build ... в процессе CI/CD

Если команды выполняются внутри runner контейнера, как мне выкачать проект из гита и положить его на хосте?

При запуске runner'a, он сам "выкачивает" Ваш проект, это видно здесь:

Reinitialized existing Git repository in /builds/gitlab/_xxx_/_xxx_/.git/
From _xxx_
   2c41219..48aa22e  master     -> origin/master
Checking out 48aa22eb as master...

Comments

[Анатолий Солдатов]

Спасибо! Тоже пришел к выводу, что gitlab-runner нужно ставить на хост-машине как приложение.

[akdes]

Анатолий Солдатов, я не приходил к этому выводу, это один из вариантов, у меня например все в докере сидят :)
Полёт нормальный. Правда с начала намного больше запарки было.