Полная сборка docker-образов без интернета, как?

Question

[uh_zuh]

Есть необходимость иметь возможность в любой момент собирать свои Docker-образы без интернета или когда по каким-то причинам нужные серверы с зависимостями недоступны или не работают.

На данный момент хочется иметь универсальное решение для всех видов зависимостей, в частности:

• Сами базовые Docker-образы: ubuntu, postgres, php, composer, node, nginx
  
• APT-пакеты из разных источников: ubuntu, debian, apt-archive.postgresql.org
  
• NPM-пакеты
  
• PHP Composer-пакеты
  
• PECL-модули
  
• Некоторые утилиты, которые устанавливаются через wget/curl
  

По идее это должен быть какой-то кэш, который закэширует только необходимое при сборке "с интернетом" и положит всё в виде файлов на диск и чтобы этот закэшированный результат можно было бы перенести и на другой компьютер в частности.

Уточню, что лучшим вариантом было бы именно кэширование необходимого, а не выкачивание всего репозитория с зависимостями, как это делают такие утилиты как apt-mirror.

Есть варианты?

Comments

[shurshur]

В общем случае задача не имеет решения. Манифесты образов размазаны по сети (часто в гитхабе, но не только), имеют зависимостями пакеты соответствующих дистрибов, используемых внутри (и это не только Debian/Ubuntu/Alpine/Fedore и прочие широко распространённые), могут зависеть от файлов, размещённых вообще где угодно (например, могут скачивать патчи с sourceforge или серверов каких-нибудь университетских лабораторий, качать gpg-ключи с каких-нибудь key-серверов итд).

Можно назеркалировать пакетные базы кучи дистрибова, сделать и обновлять копии pypi/npmjs/cpan и других репозиториев, делать копии необходимых git-реп, но никогда нельзя гарантировать, что чего-то не хватит.

Можно автоматизировать обновляемое кэширование всех тэгов нужных образов с докерхаба и других реестров образов, но это тоже работает только если мы знаем, какие образа нам когда-либо потребуются.

Совсем без интернета - это как вернуться в 90-е, когда у тебя IDE Borland Pascal с встроенной справкой и книжка Фаронова на полочке, чего было более чем достаточно, чтобы программировать примерно всё и интернет для этого не требовался. В современном мире такое малореально.

[Lynn «Кофеман»]

Где-то я этот вопрос уже видел

[Vindicar]

Дурацкий вопрос, но... насколько я понимаю, многие упомянутые вами инструменты работают поверх HTTPS. Ну может кроме самого Docker registry. Может, есть возможность пропустить их через кэширующий прокси, и настроить его не удалять кэш по истечению давности, а только обновлять по возможности?

[shurshur]

Vindicar, докер тоже поверх http работает. Но там кэшировать и ответы API надо. Хотя они тоже имеют предсказуемые имена. И я так понимаю есть нормальные решения, которые прям кэшируют докер-образа без необходимости это костылить.

Основная-то проблема в том, что для того, чтобы что-то кэшировать, надо знать, что именно кэшировать.

[Vindicar]

shurshur, ну так в том и идея - пересобираешь все проекты, ну или просто даёшь прокси поработать в фоновом режиме месяц-другой - глядишь, самое нужное уже закэшировано, причём без необходимости разбираться в деталях кто что запрашивает.

Answer 1

[VoidVolker]

Просто запустите свой кэширующий реестр: https://goharbor.io/ и используйте его как реестр при сборке образов. Отличнейшее решение — из коробки работает со всеми нужными реестрами, есть многопользовательская поддержка, журналы, адекватный WebUI, проекты — т.е. можно собрать образ, залить в реестр и на своих серверах сразу указывать зависимость от своего реестра для получения образов и плюс ещё несколько полезных и удобных фич. Для apt, npm и прочего ищите аналогичные решения: для большинства популярных репозиториев пакетов должны быть, для остальных — поискать интеграции для существующих решений. А вот для приложений не в репозитории — для каждого своё решение/скрипт.

Answer 2

[ky0]

Если вы не знаете полностью набор зависимостей - то вы не можете закэшировать их заранее. Для всего остального есть Nexus.