|招商银行 KubeVela 离线部署实践


招商银行云平台开发团队自 2021 年开始接触 KubeVela , 并探索 KubeVela 在招商银行云平台的落地实践 , 借此提升云原生应用交付与管理能力 。 同时因为金融保险行业的特殊性 , 网络安全管控措施相对严格 , 行内网络无法直接拉取 Docker Hub 镜像 , 同时行内暂时没有可用的 Helm 镜像源 。 因此 , 要想实现 KubeVela 在行内私有环境的落地 , 必须进行完全的离线部署 。
本文将以 KubeVela v1.2.5 版本为例 , 介绍招商银行 KubeVela 的离线部署实践 , 来帮助其他用户在离线环境中更便捷的完成 KubeVela 的部署 。
KubeVela 离线部署方案 我们将 KubeVela 的离线部署主要分为三部分 , 分别是 Vela Cli、Vela Core 以及 Addon 的离线部署 , 每一部分主要涉及到相关 docker 镜像的加载及 Helm 的 repackage , 通过该离线部署方案 , 能够大大加快 KubeVela 在离线环境的部署 。
在离线部署前请确保 Kubernetes 集群版本= v1.19v1.22 , KubeVela 控制平面依赖 Kubernetes , 可以放置在任何托管 Kubernetes 作为底座的产品或自建 Kubernetes 集群中 。 同时你也可以使用 kind 或 minikube 在本地部署、测试 KubeVela 。
Vela Cli 离线部署
首先 , 需要通过 KubeVela 的发布日志[1
下载你所需版本的 vela 二进制文件 解压二进制文件 , 并且在 $PATH 中配置相应的环境变量 解压二进制文件 tar -zxvf vela-v1.2.5-linux-amd64.tar.gz mv ./linux-amd64/vela /usr/local/bin/vela 设置环境变量 vi /etc/profile export PATH=\"$PATH:/usr/local/bin\" source /etc/profile 通过 vela version 验证 Vela Cli 的安装 , 并检查输出 CLI Version: v1.2.5Core Version:GitRevision: git-ef80b66GolangVersion: go1.17.7 至此 , Vela Cli 已经离线部署完成! Vela Core 离线部署 离线部署 Vela Core 之前 , 首先需要在离线环境中安装 Helm[2
,并且 Helm 的版本需要满足v3.2.0+ 准备 docker 镜像 ,Vela Core 的部署主要涉及5个镜像 , 你需要首先访问互联网从 Docker Hub 下载相应镜像 , 之后再 load 到离线环境 从Docker Hub拉取镜像 docker pull oamdev/vela-core:v1.2.5 docker pull oamdev/cluster-gateway:v1.1.7 docker pull oamdev/kube-webhook-certgen:v2.3 docker pull oamdev/alpine-k8s:1.18.2 docker pull oamdev/hello-world:v1 将镜像保存到本地磁盘 docker save -o vela-core.tar oamdev/vela-core:v1.2.5 docker save -o cluster-gateway.tar oamdev/cluster-gateway:v1.1.7 docker save -o kube-webhook-certgen.tar oamdev/kube-webhook-certgen:v2.3 docker save -o alpine-k8s.tar oamdev/alpine-k8s:1.18.2 docker save -o hello-world.tar oamdev/hello-world:v1 在私有环境中重新加载镜像 docker load vela-core.tar docker load cluster-gateway.tar docker load kube-webhook-certgen.tar docker load alpine-k8s.tar docker load hello-world.tar 下载 KubeVela 源码[3
, 拷贝到离线环境中 , 并使用 Helm 重新打包 将 KubeVela 源码重新打 chart 包 , 并离线安装 chart 包到控制集群 helm package kubevela/charts/vela-core --destination kubevela/charts helm install --create-namespace -n vela-system kubevela kubevela/charts/vela-core-0.1.0.tgz --wait 检查输出 KubeVela control plane has been successfully set up on your cluster. 至此 , Vela Core 已经离线部署完成! Addon 离线部署 首先下载 Catalog 源码[4
并拷贝到私有环境中 这里将以 VelaUX 为例介绍 Addon 的离线部署 , 首先准备 docker 镜像 , VelaUX 主要涉及2个镜像 , 需要首先访问互联网从 Docker Hub 下载相应镜像 , 之后再 load 到离线环境 从 Docker Hub 拉取镜像 docker pull oamdev/vela-apiserver:v1.2.5 docker pull oamdev/velaux:v1.2.5 将镜像保存到本地磁盘 docker save -o vela-apiserver.tar oamdev/vela-apiserver:v1.2.5 docker save -o velaux.tar oamdev/velaux:v1.2.5 在私有环境中重新加载镜像 docker load vela-apiserver.tar docker load velaux.tar 安装 VelaUX 通过 Vela Cli 安装VelaUX vela addon enable catalog-master/addons/velaux 检查输出 Addon: velaux enabled Successfully. 若有集群中安装了 route Controller 或 Nginx Ingress Controller , 且有可用域名 , 你可以部署外部路由访问 VelaUX , 这里以 openshift route 为例 , 也可以选择 ingress apiVersion: route.openshift.io/v1kind: Routemetadata:name: velaux-routenamespace: vela-systemspec:host: velaux.xxx.xxx.cnport: targetPort: 80to: kind: Service name: velaux weight: 100wildcardPolicy: None 检查安装 curl -I -m 10 -o /dev/null -s -w %{http_code http://velaux.xxx.xxx.cn/applications 至此 , VelaUX 已经离线部署完成!同时 , 对于其他类型 Addon 的离线部署 , 只需要去 Catalog 源码的对应目录确定所需镜像 , 并重复以上操作即可完成相应 Addon 的离线部署 总结 在离线部署的过程中 , 我们也尝试将 Vela Core 和 Addon 在互联网环境中部署后产生的资源实例保存为 yaml 文件 , 并在私有环境中进行重新部署 , 从而完成离线部署 , 但由于涉及的资源实例较多以及服务授权问题 , 导致该种方式较为繁琐 。