Как сбилдить golang проект, который использует CGO?

Question

[nurzhannogerbek]

Здравствуйте! Помогите пожалуйста разобраться.

На Windows 10 написал Golang приложение. В данном приложении используются несколько сторонних библиотек. Одна из них goracle для подключения к базе данных Oracle. Локально проект работает.

На своей локальной машине (windows 10) я пытаюсь создать бинарник с помощью следующей команды:

$Env:GOOS = "linux"; $Env:GOARCH = "amd64"; go build

К сожалению вижу следующую ошибку:

# gopkg.in/goracle.v2
../gopkg.in/goracle.v2/orahlp.go:60:2: undefined: describeOnly
../gopkg.in/goracle.v2/orahlp.go:223:26: undefined: PlSQLArrays
../gopkg.in/goracle.v2/orahlp.go:246:32: undefined: VersionInfo
../gopkg.in/goracle.v2/orahlp.go:249:10: undefined: VersionInfo
../gopkg.in/goracle.v2/orahlp.go:255:32: undefined: VersionInfo
../gopkg.in/goracle.v2/orahlp.go:272:19: undefined: VersionInfo
../gopkg.in/goracle.v2/orahlp.go:273:31: undefined: ObjectType
../gopkg.in/goracle.v2/orahlp.go:274:31: undefined: Event
../gopkg.in/goracle.v2/orahlp.go:274:41: undefined: Subscription
../gopkg.in/goracle.v2/orahlp.go:284:27: undefined: conn
../gopkg.in/goracle.v2/orahlp.go:249:10: too many errors

Данный бинарник собираюсь использовать на production сервере (CentOS), чтобы в дальнейшем завернуть его в Docker.

Нашел пост со схожей проблемой. В одном из комментариев говорится что нужен некий CGO и его можно сбилдить непосредственно в Docker-e. У меня возник вопрос, как это сделать?

Answer 1

[Александр Павлюк]

Проще всего вам будет собирать это все дело непосредственно на CentOS.
CGO собирать не надо, он и так работает из коробки. Просто у вас на виндовой машине нет линуксовых бинарных библиотек, которые нужны для сборки. Поэтому собирайте под CentOS с установленными оракловыми библиотеками.

Comments

[nurzhannogerbek]

Здравствуйте, Александр! Изначально я закинул исходники проекта на CentOS сервер. При этом на сервере не установлен язык программирования Golang глобально. Я создал такой вот Dockerfile:

FROM golang:1.11.2-stretch
ADD ./src /go/src/application
WORKDIR /go/src/application
RUN go get gopkg.in/goracle.v2
ENV PORT=8000
CMD ["go", "run", "main.go"]

При попытке создать image, появляется ошибка о том что нужен git для выполнения команды go get. К слову как в Dockerfile указать на скачивания сторонних библиотек?

После этого подумал лучше будет скомпилировать бинарник и уже его запускать через Dockerfile. Как думаете какой вариант предпочтительнее на ваш взгляд?

[Александр Павлюк]

NogerbekNurzhan,
Зачем вы используете stretch? Там, судя по всему, нет гита.

Вообще, лучше билдить в одном контейнере, а запускать само приложение в другом. Благо, Докер умеет в multi-stage builds

FROM golang:1.12 as builder
RUN go get gopkg.in/goracle.v2
ADD ./src /go/src/application
WORKDIR /go/src/application
RUN go build -o /app_bin application

FROM ubuntu:16.04
WORKDIR /app
COPY --from=builder /app_bin .
ENV PORT=8000
CMD ["/app/app_bin"]

Что-то вроде такого должно получиться, с поправками на ваше окружение.
Тут получаются два контейнера, один из них собирает бинарник, который кладется во второй контейнер. Результирующий контейнер получается довольно маленьким, ибо в нем нет всей среды сборки и исходников. Только бинарник проекта.

[Александр Павлюк]

Сторонние библиотеки в Докерфайле ставятся так же, как в операционной системе, от которой унаследован базовый образ.
То есть, вот используете вы FROM golang:1.12, а он, в свою очередь наследован от FROM ubuntu:16.04, значит пакеты там ставятся как у Убунте, через apt-get install -y packagename

[nurzhannogerbek]

Александр Павлюк, Почему-то при попытке создать image ругается на первую же строки в DockerFile:

Error parsing reference: "golang:1.12 as builder" is not a valid repository/tag: invalid reference format

[nurzhannogerbek]

Версия Docker на CentOS сервере:

Docker version 17.03.2-ce, build f5ec1e2

[Александр Павлюк]

NogerbekNurzhan, старовата у вас версия, у меня 18.09.3

[Александр Павлюк]

мульти-стейдж работает, начиная с версии 17.05

[nurzhannogerbek]

Александр Павлюк, вот оно как. Это печально, потому что обновить на этом сервере docker не получится в данный момент по многим причинам. Возможно ли на ваш взгляд как-то решить проблему не используя в DockerFile multi-stage builds?

[Александр Павлюк]

NogerbekNurzhan, можно, делайте просто все в одном стейдже

[nurzhannogerbek]

Александр Павлюк, насколько следующий код верный на ваш взгляд?

FROM ubuntu:16.04

RUN apt-get update -y -q && apt-get upgrade -y -q

RUN DEBIAN_FRONTEND=noninteractive apt-get install --no-install-recommends -y -q curl build-essential ca-certificates git

RUN curl -s https://storage.googleapis.com/golang/go1.11.linux-amd64.tar.gz| tar -v -C /usr/local -xz

ENV GOPATH /go

ENV GOROOT /usr/local/go

ENV PATH $PATH:/usr/local/go/bin


RUN go get github.com/gorilla/mux
RUN go get github.com/gorilla/handlers
RUN go get github.com/lib/pq
RUN go get github.com/joho/godotenv
RUN go get -u github.com/jinzhu/gorm
RUN go get gopkg.in/goracle.v2

ADD ./src /go/src/application

WORKDIR /go/src/application

RUN go build -o /bin application

ENV PORT=8000

CMD ["/go/src/bin"]

[Александр Павлюк]

NogerbekNurzhan, всю верхнюю часть можно пропустить, если написать
FROM golang:1.12
Кстати, почему упорно пытаетесь использовать старую версию го?
RUN go build -o /bin application — вот здесь билдите в /bin
CMD ["/go/src/bin"] — а здесь почему-то запускаете уже из /go/src/bin
Плюс, лучше объединить все go get, чтобы не создавать лишних слоев в докере.

Я бы сделал так:

FROM golang:1.12

RUN go get github.com/gorilla/mux && \
	go get github.com/gorilla/handlers && \
	go get github.com/lib/pq && \
	go get github.com/joho/godotenv && \
	go get github.com/jinzhu/gorm && \
	go get gopkg.in/goracle.v2

ADD ./src /go/src/application

WORKDIR /go/src/application

RUN go build -o /bin application

ENV PORT=8000

CMD ["/bin"]

[nurzhannogerbek]

При попытке создать образ (image) команда RUN go build -o /bin application вызывает ошибку следующего рода:

main.go:9:2: cannot find package "application/database" in any of:
        /usr/local/go/src/application/database (from $GOROOT)
        /go/src/application/database (from $GOPATH)
main.go:10:2: cannot find package "application/routes" in any of:
        /usr/local/go/src/application/routes (from $GOROOT)
        /go/src/application/routes (from $GOPATH)
main.go:11:2: cannot find package "questionnaire/utils" in any of:
        /usr/local/go/src/application/utils (from $GOROOT)
        /go/src/application/utils (from $GOPATH)

У меня main.go файл выглядит следующим образом:

package main

import (
	"github.com/gorilla/handlers"
	"github.com/gorilla/mux"
	"github.com/joho/godotenv"
	"log"
	"net/http"
	"application/database"
	"application/routes"
	"application/utils"
)

func main()  {
	err := godotenv.Load(".env")
	if err != nil {
		panic(err)
	}

	database.ConnectOracle()
	defer database.DisconnectOracle()

	router := mux.NewRouter()

	headers := handlers.AllowedHeaders([]string{"X-Requested-With", "Content-Type", "Authorization"})
	methods := handlers.AllowedMethods([]string{"GET", "POST", "PATCH", "PUT", "DELETE", "OPTIONS"})
	origins := handlers.AllowedOrigins([]string{"*"})

	router.StrictSlash(true)

	routes.Handle(router)

	port := utils.CheckEnvironmentVariable("APPLICATION_PORT")

	log.Printf("RESTful web service is running on %s port.", port)

	log.Fatal(http.ListenAndServe(":" + port, handlers.CORS(headers, methods, origins)(router)))
}

Что можете сказать по этому поводу?!

[Александр Павлюк]

NogerbekNurzhan,
ADD ./src /go/src/application — здесь у вас должны добавляться ВСЕ исходники вашего проекта. Видимо, у вас там лежат не все пакеты. В частности: application/database, application/routes.
questionnaire/utils у вас вообще не вижу, чтобы добавлялся в проект, ибо он по определению не может лежать в папке application.

[nurzhannogerbek]

Александр Павлюк, У меня такая структура:

- application
    - database
    - routes
    - utils
    - models
    - controllers
      main.go
      Dockerfile

Пакеты (папки) database, routes и utils лежат в основной папке проекта application. Насколько я понял сам main.go файл Docker видит раз выдает такую ошибку.

[Александр Павлюк]

NogerbekNurzhan, кажется понял, вы ведь добавляете всю папку src
ADD ./src /go/src/application
внутри src на локальной машине у вас ведь папка application, а добавляете вы ВЕСЬ src внутрь application.
Надо вместо этого:
ADD ./src/application /go/src/application

Answer 2

[Владислав]

Если есть докер, стоит попробовать проект xgo ( https://github.com/karalabe/xgo )

Сам использую чтоб компилировать проекты с cgo на macos для linux x64/arm

Comments

[nurzhannogerbek]

Здравствуйте, Владислав!

На CentOS сервере есть Docker (version 17.03.2-ce, build f5ec1e2).

Не могли бы вы пожалуйста показать инструкцию? Я правильно понимаю, что xgo нужно как-то указать в Dockerfile?!

[Владислав]

NogerbekNurzhan, нам просто нужен установленый докер, больше ничего.

Выполняем команды

docker pull karalabe/xgo-latest
go get github.com/karalabe/xgo

Установка xgo завершена.
Чтобы скомпилировать нужно выполнить в директории проекта:
xgo .

Более подробнее можно посмотреть в документации по ссылке в ответе.

[Владислав]

NogerbekNurzhan, для того, чтобы скомпилировать только для linux x64
xgo -targets linux/amd64 .

[nurzhannogerbek]

Смотрите, я малость запутался. Проект я писал на своей локальной машине, которая на windows 10. В ней нет Docker. Ставить Docker на Windows на мой взгляд большое извращение. Я закинул исходники проекта на СеntOS сервер. В нем есть Docker, но не установлен глобально golang.

Я выполнил команду:
docker pull karalabe/xgo-latest

Все установилось без проблем.

Зашел в директорию с исходниками и выполнил команду:
xgo .

В консоле вижу, такое сообщение:
xgo: command not found

Когда на локальной машине выполняю команду:
xgo -targets linux/amd64 .

В терминале вижу ошибку:

2019/03/11 17:29:33 Failed to check docker installation: exec: "docker": executable file not found in %PATH%.

[Владислав]

NogerbekNurzhan, забыли про go get github.com/karalabe/xgo
но если го нет, то можно попробовать собрать xgo на своей машине под линукс.

[nurzhannogerbek]

Владислав Фурсов, понятно. Да, это на крайний случай думаю сделать.