Как настроить передачу команд на удаленный сервер в yml?

Question

[Дмитрий Дев]

Хочу настроить автодеплой через передачу комманд гиту на удаленном сервере. Я не сис.админ, поэтому в этом не очень ориентируюсь.
Сейчас настроил, чтобы на удаленном сервере создавался файл welcome.txt на push ветки.

image: alpine:latest

deploy-job:
  stage: deploy
  before_script:
  - 'command -v ssh-agent >/dev/null || ( apk add --update openssh )' 
  - eval $(ssh-agent -s)
  - echo "$SSH_PRIVATE_KEY" | tr -d '\r' | ssh-add -
  - mkdir -p ~/.ssh
  - chmod 700 ~/.ssh
  - ssh-keyscan $VM_IPADDRESS >> ~/.ssh/known_hosts
  - chmod 644 ~/.ssh/known_hosts
  script:
  - ssh $SSH_USER@$VM_IPADDRESS "hostname && echo 'Welcome!!!' > welcome.txt"
  artifacts:
    paths:
    - public
  only:
  - autoDeploy

Взял вариант .yml файла с просторов интернета. Но в YAML не понимаю.
Зачем мне нужен image: alpine:latest и можно ли обойтись без него?
Что дает?

artifacts:
    paths:
    - public

Правильно понимаю, что каждую команду придется отправлять с
- ssh $SSH_USER@$VM_IPADDRESS "command"

Comments

[shurshur]

Либо в одном вызове их выполнить:

ssh .... "comman1; command2; ..."

[Zerg89]

image: alpine:latest
Указывает на каком дистрибутиве собирать проект
заголовок: образ:версия

Answer 1

[Oleg P.]

Правильно понимаю, что каждую команду придется отправлять с
- ssh $SSH_USER@$VM_IPADDRESS "command"

Неправильно. Отправить можно скрипт целиком. Например, мне надо было настроить в пайплайне сборку и запуск docker compose, фрагмент пайплайна:

script:
     - ssh ${DEV_USER}@${DEV_HOST} "export
       'BRANCH=${CI_COMMIT_REF_NAME}'
       'VERSION=${VERSION}'
        setsid /bin/bash -s " < docker_compose.sh

Сам скрипт docker_compose.sh сначала отладил на сервере, потом добавил в пайплайн.

Comments

[Дмитрий Дев]

Oleg P. да, вчера разобрался. Но у Вас увидел походу то, что искал. CI_COMMIT_REF_NAME здесь название ветки, которая запушена?

[Oleg P.]

точно!
Ещё пару хаков для пайплайна. В скрипте первыми командами стоит

env|sort
cd $HOME/src/sas
git checkout $BRANCH && git pull

т.е проверить переданные переменные, потом обновить репо. При отладке на сервере эти же переменные можно поместить в .env файл и считать . .env, CI цикл отвязать от гитлаба, запускать руками и см. результат прямо в шелле. Само собой, надо настроить git, docker, прочие dev tools. Если это настроено, получаешь доп. бонус - образы хранятся локально, можно не скачивать каждый раз.

[Дмитрий Дев]

Oleg P. я пытаюсь создать универсальный YAML, чтобы по пушу в ветку на гитлабе на хостинге Гит получал изменения с репозитория. При этом даже если кто-то добавил какой-то коммит прямо на хостинге с сайтом, то он удалялся. Я решил делать через git reset --hard origin/branchname. Но застрял на том, что вдруг у репозитория удаленная ветка называется по другому не origin. Но почему-то

cd public_html;
echo $CI_COMMIT_BRANCH > git.txt;
git config --get branch.${CI_COMMIT_BRANCH}.remote >> git.txt
BRANCHREMOTE=$(git config --get branch.$CI_COMMIT_BRANCH.remote);
echo '$BRANCHREMOTE' >> git.txt;

Чтобы потом подставить в git reset --hard $BRANCHREMOTE;
Но в файле git.txt только

"autoDelpoy "
origin

в самом начале. Хотя напрямую в консоли делаю поочередно:

BRANCH=autoDeploy #вместо $CI_COMMIT_BRANCH
BRANCHREMOTE=$(git config --get branch.$BRANCH.remote)
gur58_test@catfish:~/public_html [0] $ BRANCHREMOTE+='/'
gur58_test@catfish:~/public_html [0] $ BRANCHREMOTE+=$BRANCH
gur58_test@catfish:~/public_html [0] $ echo $BRANCHREMOTE
origin/autoDeploy

Не понимаю почему.

[Oleg P.]

Дима, похоже у тебя гит не настроен. Разберись с репами и бранчами - команды git remote -v ; git branch -v. origin - дефолтное имя репо, если не задашь специально или не переименуешь. Если гит настроен, см. git log; git status. Гит должен быть настроен на дев. сервере, гитлаб раннер используем только для того чтобы зайти на этот сервер, передать переменные из гитлаба и запустить предварительно отлаженный скрипт. Отладить скрипт в пайплайне гитлаба это мрак.

Ещё 1 хак. При настроеном гите важно не запутаться откуда куда пушить. Поможет отдельная ветка на дев. сервере, чтобы можно было поправить скрипт или сгенерить сайт локально, и закоммитить или merge обратно на гитлаб в его ветку.

[Дмитрий Дев]

Отладить скрипт в пайплайне гитлаба это мрак

Oleg P. моя идея была в том, чтобы на гитлабе от проекта к проекту создавать только переменные для подключения и общий для всех проектов YAML. Если еще при этом на серваке будет еще лежать скрипт, который выполняет всё остальное, то поменяв проапгрейдив на одном проекте придется не забывать апгрейдить на остальных проектах. Если файл передвинул, то еще и в YAML прописывать новый путь или в переменной проекта.

Дима, похоже у тебя гит не настроен. Разберись с репами и бранчами - команды git remote -v ; git branch -v.

Настроен.

git config --get branch.${CI_COMMIT_BRANCH}.remote >> git.txt

в YAML мне записывает значение "origin" в файл.

origin - дефолтное имя репо, если не задашь специально или не переименуешь

Знаю, но вдруг какой-то умник его переименовал и мне достался такой проект от кого-то. Не факт, что сразу соображу в чём дело если git reset --hard origin/branchname не сработает.

И почти получается уже. Например:

echo git config --get branch.${CI_COMMIT_BRANCH}.remote"/"${CI_COMMIT_BRANCH} >> git.txt;

дает результат

git config --get branch.autoDeploy.remote/autoDeploy

, а

echo $(git config --get branch.${CI_COMMIT_BRANCH}.remote)"/"${CI_COMMIT_BRANCH} >> git.txt;

дает результат: /autoDeploy
Также пробовал всё в кавычки запихать и функцию в опострофы. Получилось: git config --get branch..remote/autoDeploy
Складывается впечатление, что он просто не понимает ${CI_COMMIT_BRANCH} внутри $().
А вообще проще было бы сохранять в переменные. Может можно как-то сохранить в переменную YAML?

[Дмитрий Дев]

Oleg P. а можно как-то в YAML проверить соответствует ли текущая ветка выгружаемой и если нет, то не выполнять следующие команды?

[Oleg P.]

Дима - мы говорим на разных языках, под YAML ты имеешь в виду .gitlab-ci.yml ?? Я всё время говорю про пайплайн, т.е. конфиг для гитлаба, который всё делает, в частности, запускает раннеры. Надеюсь, мы об одном и том же. Пайплайн видит текущую ветку репозитария, все файлы. Не догоняю, что есть "соответствует ли текущая ветка выгружаемой" ?? См. с другой стороны - ты пишешь (отлаживаешь) скрипт, ты можешь делать всё, у тебя шелл на дев. сервере. Проверяй ветки, обновляй репо, делай коммиты, забудь про YAML.

Может можно как-то сохранить в переменную YAML?

Абстрактный вопрос. Ты настроил гит, сделал пулл, см. код. У тебя все ветки, все т.н. YAML'ы, какие ещё переменные ??

[Дмитрий Дев]

Надеюсь, мы об одном и том же

Oleg P. вроде да. На gitlab я использую пайплайны и в .gitlab-ci.yml я по ssh отправляю команды на удаленный сервер. Вот та часть, который я по сути устанавливаю репозиторий в состояние запушенной ветки:

script:
  - >
    ssh $SSH_USER@$SERVER_ADDRESS 
    "
      cd public_html;
      git checkout -f $CI_COMMIT_BRANCH;
      git fetch;
      git status > ../git.txt;
      git reset --hard origin/$CI_COMMIT_BRANCH;
    "

ты можешь делать всё, у тебя шелл на дев

К сожалению как не пытался в .gitlab-ci.yml в shell передать команду на сохранние результат команды, что-то наподобие REMOTENAME=git config --get branch.${CI_COMMIT_BRANCH}.remote не получалось, хотя напрямую в консоли на хостинге с сайтом делаю аналогичное и там без проблем.
А сейчас хочу чтобы было что-то наподобие

script:
  - >
    ssh $SSH_USER@$SERVER_ADDRESS 
    "
      cd public_html;
      git checkout -f $CI_COMMIT_BRANCH;
      git fetch;
      git status > ../git.txt;
      #что-то по типу:
      if(git branch --show-current == $CI_COMMIT_BRANCH {
            git reset --hard origin/$CI_COMMIT_BRANCH;
      }
    "

но не знаю как в shell можно использовать условия