From eb274b16f6d933235d27178b6872dac49add3664 Mon Sep 17 00:00:00 2001 From: Kang HuaiShuai Date: Tue, 5 Nov 2019 21:50:05 +0800 Subject: [PATCH] Add Docker Buildx Signed-off-by: Kang HuaiShuai --- .github/workflows/ci.yaml | 2 +- .vuepress/config.js | 15 +- SUMMARY.md | 7 +- buildx/README.md | 5 + {image => buildx}/buildkit.md | 48 ++---- buildx/buildx.md | 33 ++++ .../multi-arch-images.md | 26 +-- image/buildx.md | 148 ------------------ 8 files changed, 69 insertions(+), 215 deletions(-) create mode 100644 buildx/README.md rename {image => buildx}/buildkit.md (85%) create mode 100644 buildx/buildx.md rename image/buildx_multi-arch-images.md => buildx/multi-arch-images.md (78%) delete mode 100644 image/buildx.md diff --git a/.github/workflows/ci.yaml b/.github/workflows/ci.yaml index 24b1f2e..62c10c9 100644 --- a/.github/workflows/ci.yaml +++ b/.github/workflows/ci.yaml @@ -27,6 +27,6 @@ jobs: PCIT_GIT_URL: github.com/docker-practice/vuepress PCIT_KEEP_HISTORY: "1" PCIT_LOCAL_DIR: .vuepress/dist - PCIT_MESSAGE: Sync from yeasy/docker-practice@${{github.sha}} by PCIT + PCIT_MESSAGE: Sync from yeasy/docker_practice@${{github.sha}} by PCIT PCIT_TARGET_BRANCH: master PCIT_USERNAME: khs1994 diff --git a/.vuepress/config.js b/.vuepress/config.js index fbdc4a6..18948e3 100644 --- a/.vuepress/config.js +++ b/.vuepress/config.js @@ -3,7 +3,7 @@ module.exports = { base: '/', themeConfig: { docsRepo: 'yeasy/docker_practice', - docsDir: '/', + docsDir: '/vuepress', editLinks: true, nav: [{ text: '安装 Docker', @@ -186,9 +186,6 @@ module.exports = { '/image/multistage-builds/', '/image/multistage-builds/laravel', '/image/manifest', - '/image/buildx_multi-arch-images', - '/image/buildkit', - '/image/buildx', ] },{ title: "操作容器", @@ -262,6 +259,16 @@ module.exports = { 'security/summary', ], }, + { + title: "Docker Buildx", + collapsable: false, + children: [ + "buildx/", + "buildx/buildkit", + "buildx/buildx", + "buildx/multi-arch-images", + ], + }, { title: "Etcd", collapsable:false, diff --git a/SUMMARY.md b/SUMMARY.md index f3bd82b..4dc7177 100644 --- a/SUMMARY.md +++ b/SUMMARY.md @@ -42,9 +42,6 @@ * [Dockerfile 多阶段构建](image/multistage-builds/README.md) * [实战多阶段构建 Laravel 镜像](image/multistage-builds/laravel.md) * [构建多种系统架构支持的 Docker 镜像](image/manifest.md) - * [使用 buildx 构建多种系统架构支持的 Docker 镜像](image/buildx_multi-arch-images.md) - * [Docker v18.09 版本使用 BuildKit 构建镜像](image/buildkit.md) - * [Docker v19.03 版本使用 BuildKit 构建镜像](image/buildx.md) * [其它制作镜像的方式](image/other.md) * [实现原理](image/internal.md) * [操作容器](container/README.md) @@ -75,6 +72,10 @@ * [工具和示例](advanced_network/example.md) * [编辑网络配置文件](advanced_network/config_file.md) * [实例：创建一个点到点连接](advanced_network/ptp.md) +* [Docker Buildx](buildx/README.md) + * [BuildKit](buildx/buildkit.md) + * [使用 buildx 构建镜像](buildx/buildx.md) + * [使用 buildx 构建多种系统架构支持的 Docker 镜像](buildx/multi-arch-images.md) * [Docker Compose](compose/README.md) * [简介](compose/introduction.md) * [安装与卸载](compose/install.md) diff --git a/buildx/README.md b/buildx/README.md new file mode 100644 index 0000000..1408b3b --- /dev/null +++ b/buildx/README.md @@ -0,0 +1,5 @@ +# Docker Buildx + +Docker Buildx 是一个 docker CLI 插件，其扩展了 docker 命令，支持 [Moby BuildKit](buildkit.md) 提供的功能。提供了与 docker build 相同的用户体验，并增加了许多新功能。 + +> 该功能仅适用于 Docker v19.03+ 版本 diff --git a/image/buildkit.md b/buildx/buildkit.md similarity index 85% rename from image/buildkit.md rename to buildx/buildkit.md index 7dc176f..f1b7e9f 100644 --- a/image/buildkit.md +++ b/buildx/buildkit.md @@ -1,4 +1,4 @@ -## 使用 `BuildKit` 构建镜像 +# 使用 `BuildKit` 构建镜像 **BuildKit** 是下一代的镜像构建组件，在 https://github.com/moby/buildkit 开源。 @@ -6,31 +6,11 @@ **注意：docker-compose build 命令暂时不支持 BuildKit** -下面介绍如何在 Docker CE 18.09 版本中使用 `BuildKit` 提供的 `Dockerfile` 新指令来更快、更安全的构建 Docker 镜像。 +## `Dockerfile` 新增指令详解 -### 启用 `BuildKit` +启用 `BuildKit` 之后，我们可以使用下面几个新的 `Dockerfile` 指令来加快镜像构建。 -启用 `BuildKit` 必须先设置 **环境变量**。 - -Linux、macOS 执行如下命令： - -```bash -$ export DOCKER_BUILDKIT=1 -``` - -Windows 执行如下命令： - -```powershell -$ set $env:DOCKER_BUILDKIT=1 -``` - -> 以上是设置环境变量的临时方法，若使环境变量永久生效请读者自行设置。 - -### `Dockerfile` 新增指令详解 - -启用 `BuildKit` 之后，我们可以使用下面几个新的指令来加快镜像构建。 - -#### `RUN --mount=type=cache` +### `RUN --mount=type=cache` 目前，几乎所有的程序都会使用依赖管理工具，例如 `Go` 中的 `go mod`、`Node.js` 中的 `npm` 等等，当我们构建一个镜像时，往往会重复的从互联网中获取依赖包，难以缓存，大大降低了镜像的构建效率。 @@ -112,7 +92,7 @@ RUN --mount=type=cache,target=/tmp/dist,from=builder,source=/app/dist \ |`from` | 缓存来源（构建阶段），不填写时为空文件夹。| |`source` | 来源的文件夹路径。| -#### `RUN --mount=type=bind` +### `RUN --mount=type=bind` 该指令可以将一个镜像（或上一构建阶段）的文件挂载到指定位置。 @@ -122,7 +102,7 @@ RUN --mount=type=bind,from=php:alpine,source=/usr/local/bin/docker-php-entrypoin cat /docker-php-entrypoint ``` -#### `RUN --mount=type=tmpfs` +### `RUN --mount=type=tmpfs` 该指令可以将一个 `tmpfs` 文件系统挂载到指定位置。 @@ -132,9 +112,9 @@ RUN --mount=type=tmpfs,target=/temp \ mount | grep /temp ``` -#### `RUN --mount=type=secret` +### `RUN --mount=type=secret` -该指令可以将一个文件挂载到指定位置。 +该指令可以将一个文件(例如密钥)挂载到指定位置。 ```docker # syntax = docker/dockerfile:experimental @@ -146,7 +126,7 @@ RUN --mount=type=secret,id=aws,target=/root/.aws/credentials \ $ docker build -t test --secret id=aws,src=$HOME/.aws/credentials . ``` -#### `RUN --mount=type=ssh` +### `RUN --mount=type=ssh` 该指令可以挂载 `ssh` 密钥。 @@ -165,14 +145,6 @@ $ ssh-add ~/.ssh/id_rsa $ docker build -t test --ssh default=$SSH_AUTH_SOCK . ``` -### 清理构建缓存 - -执行以下命令清理构建缓存 - -```bash -$ docker builder prune -``` - -### 官方文档 +## 官方文档 * https://github.com/moby/buildkit/blob/master/frontend/dockerfile/docs/experimental.md diff --git a/buildx/buildx.md b/buildx/buildx.md new file mode 100644 index 0000000..6dc2c99 --- /dev/null +++ b/buildx/buildx.md @@ -0,0 +1,33 @@ +# 使用 Buildx 构建镜像 + +## 启用 Buildx + +`buildx` 命令属于实验特性，必须设置环境变量以使用该命令。 + +Linux/macOS + +```bash +$ export DOCKER_CLI_EXPERIMENTAL=enabled +``` + +Windows + +```bash +$ set $env:DOCKER_CLI_EXPERIMENTAL=enabled +``` + +## 使用 + +你可以直接使用 `docker buildx build` 命令构建镜像。 + +```bash +$ docker buildx build . +[+] Building 8.4s (23/32) + => ... +``` + +Buildx 使用 [BuildKit 引擎](buildkit.md) 进行构建，支持许多新的功能，具体参考 [Buildkit](buildkit.md) 一节。 + +## 官方文档 + +* https://docs.docker.com/engine/reference/commandline/buildx/ diff --git a/image/buildx_multi-arch-images.md b/buildx/multi-arch-images.md similarity index 78% rename from image/buildx_multi-arch-images.md rename to buildx/multi-arch-images.md index 62ead2b..d423dfc 100644 --- a/image/buildx_multi-arch-images.md +++ b/buildx/multi-arch-images.md @@ -1,26 +1,8 @@ # 使用 buildx 构建多种系统架构支持的 Docker 镜像 -在之前的版本中构建多种系统架构支持的 Docker 镜像，要想使用统一的名字必须使用 [`$ docker manifest`](manifest.md) 命令。 +在之前的版本中构建多种系统架构支持的 Docker 镜像，要想使用统一的名字必须使用 [`$ docker manifest`](../image/manifest.md) 命令。 -在 Docker 19.03+ 版本中可以使用 `$ docker buildx build` 命令使用 `BuildKit` 构建镜像。 - -该命令支持 `--platform` 参数可以同时构建支持多种系统架构的 Docker 镜像，大大简化了构建步骤。 - -## 设置环境变量 - -`buildx` 命令属于实验特性，必须设置环境变量以使用该命令。 - -Linux/macOS - -```bash -$ export DOCKER_CLI_EXPERIMENTAL=enabled -``` - -Windows - -```bash -$ set $env:DOCKER_CLI_EXPERIMENTAL=enabled -``` +在 Docker 19.03+ 版本中可以使用 `$ docker buildx build` 命令使用 `BuildKit` 构建镜像。该命令支持 `--platform` 参数可以同时构建支持多种系统架构的 Docker 镜像，大大简化了构建步骤。 ## 新建 `builder` 实例 @@ -33,7 +15,9 @@ $ docker run --rm --privileged docker/binfmt:820fdd95a9972a5308930a2bdfb8573dd44 由于 Docker 默认的 `builder` 实例不支持同时指定多个 `--platform`，我们必须首先创建一个新的 `builder` 实例。 ```bash -$ docker buildx create --name mybuilder +# $ docker buildx create --name mybuilder + +$ docker buildx create --name=mybuilder --driver docker-container --driver-opt image=dockerpracticesig/buildkit:master $ docker buildx use mybuilder ``` diff --git a/image/buildx.md b/image/buildx.md deleted file mode 100644 index a6ef6c7..0000000 --- a/image/buildx.md +++ /dev/null @@ -1,148 +0,0 @@ -## 使用 `Buildx` 构建镜像 - -**BuildKit** 是下一代的镜像构建组件，在 https://github.com/moby/buildkit 开源。 - -**注意：如果您的镜像构建使用的是云服务商提供的镜像构建服务（Docker Hub 自动构建、腾讯云容器服务、阿里云容器服务等），由于上述服务提供商的 Docker 版本低于 18.09，BuildKit 无法使用，将造成镜像构建失败。建议使用 BuildKit 构建镜像时使用一个新的 Dockerfile 文件（例如 Dockerfile.buildkit）** - -下面介绍如何在 Docker CE 19.03+ 版本中使用 `BuildKit` 提供的 `Dockerfile` 新指令来更快、更安全的构建 Docker 镜像。 - -### `Dockerfile` 新增指令详解 - -启用 `BuildKit` 之后，我们可以使用下面几个新的指令来加快镜像构建。为了使用 `BuildKit` 我们 **必须** 使用新的 `$ docker buildx build` 命令来构建 Docker 镜像。 - -#### `RUN --mount=type=cache` - -目前，几乎所有的程序都会使用依赖管理工具，例如 `Go` 中的 `go mod`、`Node.js` 中的 `npm` 等等，当我们构建一个镜像时，往往会重复的从互联网中获取依赖包，难以缓存，大大降低了镜像的构建效率。 - -例如一个前端工程需要用到 `npm`： - -```docker -FROM node:alpine as builder - -WORKDIR /app - -COPY package.json /app/ - -RUN npm i --registry=https://registry.npm.taobao.org \ - && rm -rf ~/.npm - -COPY src /app/src - -RUN npm run build - -FROM nginx:alpine - -COPY --from=builder /app/dist /app/dist -``` - -使用多阶段构建，构建的镜像中只包含了目标文件夹 `dist`，但仍然存在一些问题，当 `package.json` 文件变动时，`RUN npm i && rm -rf ~/.npm` 这一层会重新执行，变更多次后，生成了大量的中间层镜像。 - -为解决这个问题，进一步的我们可以设想一个类似 **数据卷** 的功能，在镜像构建时把 `node_modules` 文件夹挂载上去，在构建完成后，这个 `node_modules` 文件夹会自动卸载，实际的镜像中并不包含 `node_modules` 这个文件夹，这样我们就省去了每次获取依赖的时间，大大增加了镜像构建效率，同时也避免了生成了大量的中间层镜像。 - -`BuildKit` 提供了 `RUN --mount=type=cache` 指令，可以实现上边的设想。 - -```docker -FROM node:alpine as builder - -WORKDIR /app - -COPY package.json /app/ - -RUN --mount=type=cache,target=/app/node_modules,id=my_app_npm_module,sharing=locked \ - --mount=type=cache,target=/root/.npm,id=npm_cache \ - npm i --registry=https://registry.npm.taobao.org - -COPY src /app/src - -RUN --mount=type=cache,target=/app/node_modules,id=my_app_npm_module,sharing=locked \ -# --mount=type=cache,target=/app/dist,id=my_app_dist,sharing=locked \ - npm run build - -FROM nginx:alpine - -# COPY --from=builder /app/dist /app/dist - -# 为了更直观的说明 from 和 source 指令，这里使用 RUN 指令 -RUN --mount=type=cache,target=/tmp/dist,from=builder,source=/app/dist \ - # --mount=type=cache,target/tmp/dist,from=my_app_dist,sharing=locked \ - mkdir -p /app/dist && cp -r /tmp/dist/* /app/dist -``` - -第一个 `RUN` 指令执行后，`id` 为 `my_app_npm_module` 的缓存文件夹挂载到了 `/app/node_modules` 文件夹中。多次执行也不会产生多个中间层镜像。 - -第二个 `RUN` 指令执行时需要用到 `node_modules` 文件夹，`node_modules` 已经挂载，命令也可以正确执行。 - -第三个 `RUN` 指令将上一阶段产生的文件复制到指定位置，`from` 指明缓存的来源，这里 `builder` 表示缓存来源于构建的第一阶段，`source` 指明缓存来源的文件夹。 - -上面的 `Dockerfile` 中 `--mount=type=cache,...` 中指令作用如下： - -|Option |Description| -|---------------------|-----------| -|`id` | `id` 设置一个标志，以便区分缓存。| -|`target` (必填项) | 缓存的挂载目标文件夹。| -|`ro`,`readonly` | 只读，缓存文件夹不能被写入。 | -|`sharing` | 有 `shared` `private` `locked` 值可供选择。`sharing` 设置当一个缓存被多次使用时的表现，由于 `BuildKit` 支持并行构建，当多个步骤使用同一缓存时（同一 `id`）会发生冲突。`shared` 表示多个步骤可以同时读写，`private` 表示当多个步骤使用同一缓存时，每个步骤使用不同的缓存，`locked` 表示当一个步骤完成释放缓存后，后一个步骤才能继续使用该缓存。| -|`from` | 缓存来源（构建阶段），不填写时为空文件夹。| -|`source` | 来源的文件夹路径。| - -#### `RUN --mount=type=bind` - -该指令可以将一个镜像（或上一构建阶段）的文件挂载到指定位置。 - -```docker -RUN --mount=type=bind,from=php:alpine,source=/usr/local/bin/docker-php-entrypoint,target=/docker-php-entrypoint \ - cat /docker-php-entrypoint -``` - -#### `RUN --mount=type=tmpfs` - -该指令可以将一个 `tmpfs` 文件系统挂载到指定位置。 - -```docker -RUN --mount=type=tmpfs,target=/temp \ - mount | grep /temp -``` - -#### `RUN --mount=type=secret` - -该指令可以将一个文件挂载到指定位置。 - -```docker -RUN --mount=type=secret,id=aws,target=/root/.aws/credentials \ - cat /root/.aws/credentials -``` - -```bash -$ docker buildx build -t test --secret id=aws,src=$HOME/.aws/credentials . -``` - -#### `RUN --mount=type=ssh` - -该指令可以挂载 `ssh` 密钥。 - -```docker -FROM alpine -RUN apk add --no-cache openssh-client -RUN mkdir -p -m 0700 ~/.ssh && ssh-keyscan gitlab.com >> ~/.ssh/known_hosts -RUN --mount=type=ssh ssh git@gitlab.com | tee /hello -``` - -```bash -$ eval $(ssh-agent) -$ ssh-add ~/.ssh/id_rsa -(Input your passphrase here) - -$ docker buildx build -t test --ssh default=$SSH_AUTH_SOCK . -``` - -### 清理构建缓存 - -执行以下命令清理构建缓存 - -```bash -$ docker builder prune -``` - -### 官方文档 - -* https://github.com/moby/buildkit/blob/master/frontend/dockerfile/docs/experimental.md