探秘 k8e：极简 Kubernetes 发行版

TL;DR

本文介绍并安装体验了极简 Kubernetes 发行版，也顺便分析学习下编译的流程。

背景

k8e 本意为 kuber easy，是一个 Kubernetes 的极简发行版，意图让云原生落地部署 Kubernetes 更轻松。k8e 是基于另一个发行版 k3s ，经过裁剪（去掉了 Edge/IoT 相关功能、traefik等）、扩展（加入 ingress、sidecar 实现、cilium等）而来。

k8e 具有以下特性：

• 单二进制文件，集成了 k8s 的各种组件、containerd、runc、kubectl、nerdctl 等
• 使用 cilium 作为 cni 的实现，方便 eBPF 的快速落地
• 支持基于 Pipy 的 ingress、sidecar proxy，实现应用流量一站式管理
• 只维护一个 k8s 版本，目前是 1.21
• 按照私有云的经验增加、优化代码

得益于这些特性，k8e 非常适合CI、开发和企业级部署，单机版的集群适合技术验证环境。

安装测试

可以从 GitHub 上下载对应版本的二进制文件，也可以自己手动编译（后面对编译的流程进行了简单的分析）。

sudo k8e check-config
sudo k8e server &
# Kubeconfig is written to /etc/k8e/k8e.yaml
export KUBECONFIG=/etc/k8e/k8e.yaml

# On a different node run the below. NODE_TOKEN comes from
# /var/lib/k8e/server/node-token on your server
sudo k8e agent --server https://myserver:6443 --token ${NODE_TOKEN}

# query all node from k8s cluster
sudo k8e kubectl get nodes

因为没有提供默认的 cni 实现，此时 pod 都处于 Pending 状态。需要手动安装 cilium：

通过 k8e check-config 可以找到 builddata 目录：/var/lib/k8e/data/5a7ced03412504a18bf3f49cbee5dafca7187d86ef8fdaa789448d53d7fbb823

/var/lib/k8e/data/5a7ced03412504a18bf3f49cbee5dafca7187d86ef8fdaa789448d53d7fbb823/bin/cilium install

cilium 安装成功后 Pod 成功运行，可以查看 cilium 状态：

/var/lib/k8e/data/5a7ced03412504a18bf3f49cbee5dafca7187d86ef8fdaa789448d53d7fbb823/bin/cilium status
    /¯¯\
 /¯¯\__/¯¯\    Cilium:         OK
 \__/¯¯\__/    Operator:       OK
 /¯¯\__/¯¯\    Hubble:         disabled
 \__/¯¯\__/    ClusterMesh:    disabled
    \__/

DaemonSet         cilium             Desired: 1, Ready: 1/1, Available: 1/1
Deployment        cilium-operator    Desired: 1, Ready: 1/1, Available: 1/1
Containers:       cilium             Running: 1
                  cilium-operator    Running: 1
Cluster Pods:     3/3 managed by Cilium
Image versions    cilium             quay.io/cilium/cilium:v1.10.5: 1
                  cilium-operator    quay.io/cilium/operator-generic:v1.10.5: 1

或者执行 cilium connectivity test 进行检查网络。

上面是作为开发验证环境的部署，若要部署标准 Kubernetes，可以参考官方文档。

编译流程分析

k8e 的编译部署简单的两条命令就能完成：

make generate
make

执行 make generate 下载内置的几个工具：runc、nerdctl、cilium，保存在 bin 目录中。

.DEFAULT_GOAL 是 ci，执行 make 则会执行 target ci 。

Dapper

在 makefile 的第一行是 TARGETS := $(shell ls hack | grep -v \\.sh | grep -v package-airgap| grep -v clean) 定义了变量 TARGETS，然后 $(TARGETS): .dapper 为几个 target 指定前置条件。其中就有 ci，因此在执行 ci 之前会先执行 target .dapper。

target .dapper 用于下载 rancher dapper。dapper 是 Docker 的构建封装器，执行时会使用位于源码根目录 Dockerfile.dapper 构建镜像，并以此作为代码构建环境。

在 Dockerfile.dapper 中，会准备构建环境，以及几个需要关注的设置：

• WORKDIR：/go/src/github.com/xiaods/k8e/，也就是容器的工作目录。dapper 启动时会将源码内容拷贝到容器中
• ENTRYPOINT：["./hack/entry.sh"]，容器启动的 entrypoint。
• CMD：["ci"]，容器运行时的默认 CMD
• ENV
  • DAPPER_SOURCE：/go/src/github.com/xiaods/k8e/
  • DAPPER_OUTPUT：./bin ./dist ./build/out，构建完成后，会执行 docker cp ${DAPPER_SOURCE}/${DAPPER_OUTPUT} . 将容器中的内容拷贝到容器外。
  • …

dapper 下载完成后会执行 ci 的命令：./.dapper ci，根据 Dockerfile.dapper 的配置，启动后会执行 ./hack/entry.sh ci。

CI

CI 的流程与 k3s 的流程相比精简了很多。在 ./hack/ci 中，会依次执行：

• ./hack/validate：代码格式化、校验
• ./hack/build：代码编译
• ./hack/package：将前面下载、编译的 bin/ 目录下的二进制一同打包到同一个二进制文件中（使用 go-bindata）。
• ./hack/binary_size_check.sh：二进制文件大小的检查，是否超过 81 M（k3s 的是64M，由于加入了 cilium 等 cli，体积会有增加）。