Как настроить CI/CD в gitlab для go проекта?

Question

[Дмитрий Афонченко]

Добрый день! Возник вопрос по настройке CI/CD на удаленный сервер. В этом я новичок, поэтому вопрос наверное тривиальный, но все же по нему не удалось найти адекватной информации.

Есть сервер на VDS с CentOS 7_x64
На нем крутится web-приложение написанное на Go. Как сделать так чтобы гитлаб после билда доставлял на сервер новую версию и запускал её? Вот мой .gitlab-ci.yml:

image: golang:latest

variables:
  REPO_NAME: $REPO_NAME

before_script:
  - go get github.com/gorilla/mux
  - go get github.com/gorilla/websocket
  - mkdir -p $GOPATH/src/$(dirname $REPO_NAME)
  - echo $CI_PROJECT_DIR
  - echo $GOPATH
  - ln -svf $CI_PROJECT_DIR $GOPATH/src/$REPO_NAME
  - cd $CI_PROJECT_DIR/src
  - ls

stages:
    - build
    - deploy

compile:
    stage: build
    script:
      - go build -race -ldflags "-extldflags '-static'" -o $CI_PROJECT_DIR/mybinary
    artifacts:
      paths:
        - mybinary

deploy_staging:
  stage: deploy
  environment:
    name: Staging
    url: $SEVER_ADDRESS
  before_script:
  - 'which ssh-agent || ( apt-get update -y && apt-get install openssh-client -y )'
  - mkdir -p ~/.ssh
  - eval $(ssh-agent -s)
  - '[[ -f /.dockerenv ]] && echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > ~/.ssh/config'
  script:
  - ssh-add <(echo "$USER_PASS")
  - ssh -o StrictHostKeyChecking=no $USERNAME@"$SEVER_ADDRESS" 'rm -rf /var/www/html/*'

Ломается на вот этом этапе:

$ [[ -f /.dockerenv ]] && echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > ~/.ssh/config
$ ssh-add <(echo "$USER_PASS")
Enter passphrase for /dev/fd/63: ERROR: Job failed: exit code 1

UPD: Ответ в комментариях к ответу

Comments

[hOtRush]

https://stackoverflow.com/a/13034313/1362776 может как-то так

[Дмитрий Афонченко]

hOtRush, К сожалению, не понимаю, как это встроить в yml. Нужно написать такой скрипт и как-то вызывать его через yml?

[hOtRush]

Дмитрий Афонченко, я так понял проблема в том, что ssh-add просит ввести passphrase, но есть вариант что это "фича" gitlab ci. Вот тут есть решение https://gitlab.com/gitlab-org/gitlab-ce/issues/144...

[Дмитрий Афонченко]

hOtRush, Да смотрел этот issue на самом деле еще такой вопрос, мне нужно вводить пароль от пользователя или сгенерированный ключ для SSH? И если ssh ключ, то мне его в каком формате вводить, вот в таком:
ssh-rsa {здесь сам ключ} user@host
или вот в таком:
{здесь сам ключ}

[hOtRush]

Дмитрий Афонченко, мне кажется в агент нужно добавлять приватный ключ, приватный ключ не будет содержать ssh-rsa ...,
обычно что-то вроде -----BEGIN RSA PRIVATE KEY .....

Answer 1

[Jhn Doe from by]

gitlab должен скачать ваш проект, потом выкинуть по ssh на ваш сервер, ниже скину мой конфиг, который даёт доступ гитлабу к репозиториям организации. Помимо всего, вам нужно добавить ssh ключ, зайти сюда https://gitlab.com/orgname/reponame/settings/ci_cd, сделать xclip -sel clip < ~/.ssh/id_rsa.pub и подсунуть его гитлабу на той самой странице в переменные скопированный ключ.
указать переменную SSH_PRIVATE_KEY

Всё.

before_script:
  - 'which ssh-agent || ( apt-get update -y && apt-get install openssh-client -y )'
  - eval $(ssh-agent -s)
  - echo "$SSH_PRIVATE_KEY" | tr -d '\r' | ssh-add - > /dev/null
  - mkdir -p ~/.ssh
  - chmod 700 ~/.ssh
  - echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > ~/.ssh/config

Comments

[Дмитрий Афонченко]

Сейчас скрипт выглядит вот так:

image: golang:latest

variables:
  REPO_NAME: $REPO_NAME

before_script:
  - go get github.com/gorilla/mux
  - go get github.com/gorilla/websocket
  - 'which ssh-agent || ( apt-get update -y && apt-get install openssh-client -y )'
  - eval $(ssh-agent -s)
  - echo "$SSH_PRIVATE_KEY" | tr -d '\r' | ssh-add - > /dev/null
  - mkdir -p ~/.ssh
  - chmod 700 ~/.ssh
  - echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > ~/.ssh/config
  
stages:
    - build

compile:
    stage: build
    script:
      - go build -race -ldflags "-extldflags '-static'" -o $CI_PROJECT_DIR/mybinary
    artifacts:
      paths:
        - mybinary

Выдает ошибку:
Enter passphrase for (stdin): ERROR: Job failed: exit code 1

[Jhn Doe from by]

Дмитрий Афонченко, стоп, значение у SSH_PRIVATE_KEY начинается с этих слов -----BEGIN RSA PRIVATE KEY----- ?

[Дмитрий Афонченко]

Эм нет) Я на сервере сгенерил с помощью вот этих команд:
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub

Он выглядит вот так:
ssh-rsa {здесь сам ключ} user@host

Я скопировал только сам ключ и вставил его в переменную SSH_PRIVATE_KEY
На всякий случай попробовал добваить туда -----BEGIN RSA PRIVATE KEY----- и -----END RSA PRIVATE KEY----- Но не помогло

[Дмитрий Афонченко]

Для того чтобы добавить ключи я использую ssh-add

[Jhn Doe from by]

Дмитрий Афонченко, у меня ошибка была, нужно скопировать так pbcopy < ~/.ssh/id_rsa НО НЕ pbcopy < ~/.ssh/id_rsa.pub
в итоге должна строка начинаться с BEGIN RSA PRIVATE KEY ....

[Дмитрий Афонченко]

Jhn Doe from by, Прошу прощения за тупняк, скорее всего там все просто, но у меня снова не получилось. Вроде сгенерил публичный ключ и приватный ключ в сеттинги гитлаба в перемнную SSH_PRIVATE_KEY добавил приватный ключ, который начинается с -----BEGIN RSA PRIVATE KEY--- и заканчивается -----END RSA PRIVATE KEY----- и все равно получаю ошибку:

$ echo "$SSH_PRIVATE_KEY" | tr -d '\r' | ssh-add - > /dev/null
Enter passphrase for (stdin): ERROR: Job failed: exit code 1

[Дмитрий Афонченко]

Jhn Doe from by, Возможно я понял в чем причина. При генерации ключа не нужно было вводить пароль. Надеюсь, это не глупость, просто если так сделать, то пайплайн дальше проходит

[Дмитрий Афонченко]

Jhn Doe from by, И еще один вопрос, как я понял, я сейчас просто подключаюсь и авторизуюсь на сервер по SSH, а как сделать так чтобы обновленные файлы доставлялись на сервер в определенную папку и перезапускали сервис?

[Jhn Doe from by]

Дмитрий Афонченко, не нужно было

[Jhn Doe from by]

Дмитрий Афонченко ,

а как сделать так чтобы обновленные файлы доставлялись на сервер в определенную папку

я это делал для ci правда не для cd, в before_script закинул (govendor sync - это установка зависимостей go проекта):

before_script:
.....тут с ssh работа, дальше папка для проекта создаётся....
  - mkdir -p /go/src/gitlab.com/mycompanyname

  - cp -r $CI_PROJECT_DIR /go/src/gitlab.com/mycompanyname/myrepo
  - git clone [e-mail]:mycompanyname/myrepo.git /go/src/gitlab.com/mycompanyname/myrepo

  - go get -u github.com/kardianos/govendor
  - go install github.com/kardianos/govendor

  - cd /go/src/gitlab.com/mycompanyname/myrepo
  - govendor sync

я не знаю как вы делаете рестарт сервиса, но я бы закинул в compile: script: и после билда рестарт сервиса, если вы запускаете проект через systemd:

compile:
  - script:
    - cd /go/src/gitlab.com/mycompanyname/myrepo
    - go build ......
    - sudo systemctl restart yourservicename.socket или sudo systemctl restart yourservicename.service

если nginx есть, после всего это рестарт нгинск:

stages:
  ...
  - nginx

nginx restart:
  - stage: nginx
  - script:
    - sudo systemctl restart nginx.service

[Дмитрий Афонченко]

Jhn Doe from by,
Сейчас скрипт выглядит вот так:

image: golang:latest

variables:
  REPO_NAME: $REPO_NAME

before_script:
  - go get github.com/gorilla/mux
  - go get github.com/gorilla/websocket
  - 'which ssh-agent || ( apt-get update -y && apt-get install openssh-client -y )'
  - eval $(ssh-agent -s)
  - echo "$SSH_PRIVATE_KEY" | tr -d '\r' | ssh-add - > /dev/null
  - mkdir -p ~/.ssh
  - chmod 700 ~/.ssh
  - echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > ~/.ssh/config
  - ls
  - cd src
  - mkdir -p /go/src/gitlab.com/Undermove
  - git clone [e-mail]:Undermove/RockScissorPaperWebInterface.git /go/src/gitlab.com/Undermove/RockScissorPaperWebInterface
  - cd /go/src/gitlab.com/Undermove/RockScissorPaperWebInterface
  
stages:
    - build

compile:
    stage: build
    script:
    - cd /go/src/gitlab.com/Undermove/RockScissorPaperWebInterface/src
    - go build -race -ldflags "-extldflags '-static'" -o $CI_PROJECT_DIR
    - systemctl restart rpsonline
    artifacts:
      paths:
        - mybinary

Выдает в конце /bin/bash: line 96: systemctl: command not found

[Jhn Doe from by]

Дмитрий Афонченко, заметил что у вас centos, пробуйте sudo service restart rpsonline

[Дмитрий Афонченко]

Огромное спасибо за помощь! Неделю с этим мучился. Наконец нашел, как это сделать и полный рабочий скрипт:

image: golang:latest

before_script:
  - apt-get update -qq && apt-get install -y -qq sshpass
  - go get github.com/gorilla/mux
  - go get github.com/gorilla/websocket
  - 'which ssh-agent || ( apt-get update -y && apt-get install openssh-client -y )'
  - eval $(ssh-agent -s)
  - echo "$SSH_PRIVATE_KEY" | tr -d '\r' | ssh-add - > /dev/null
  - mkdir -p ~/.ssh
  - chmod 700 ~/.ssh
  - echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > ~/.ssh/config
  - mkdir -p /go/src/gitlab.com/$GROUP_NAME
  - git clone [e-mail]:$GROUP_NAME/$REPOSITORY_NAME.git /go/src/gitlab.com/$GROUP_NAME/$REPOSITORY_NAME
  - mkdir -p $CI_PROJECT_DIR/build/
  - cp -r $CI_PROJECT_DIR/src/public $CI_PROJECT_DIR/build
  
stages:
    - build

compile:
    stage: build
    script:
    - cd /go/src/gitlab.com/$GROUP_NAME/$REPOSITORY_NAME/src
    - go build -race -ldflags "-extldflags '-static'" -o $CI_PROJECT_DIR/build/main
    - cd $CI_PROJECT_DIR/build
    - sshpass -V
    - export SSHPASS=$USER_PASS 
    - sshpass -e ssh -o stricthostkeychecking=no $USER@$HOST systemctl stop $SERVICE_NAME
    - sshpass -e scp -o stricthostkeychecking=no -r . $USER@$HOST:$TARGET_DIR_ON_HOST
    - sshpass -e ssh -o stricthostkeychecking=no $USER@$HOST systemctl restart $SERVICE_NAME
    artifacts:
      paths:
        - main

Answer 2

[Дмитрий Афонченко]

По итогу мытарств написал статью на хабре с более-менее подробной инструкцией
https://habr.com/post/421087/