1. KubeSphere DevOps 高可用部署概述KubeSphere 是一个开源的容器平台基于 Kubernetes 构建提供 DevOps、服务网格、可观测性等企业级功能。其中 DevOps 功能基于 Jenkins 实现为 Kubernetes 环境提供了完整的 CI/CD 解决方案。高可用部署是生产环境的基本要求通过多节点部署和负载均衡可以确保系统在单点故障时仍能正常运行。本文将详细介绍如何在 KubeSphere 中实现 DevOps 组件的高可用部署。2. 环境准备与规划2.1 硬件资源配置建议对于生产环境的高可用部署建议采用以下配置控制节点至少 3 个节点每个节点 4 核 CPU、8GB 内存工作节点根据业务需求确定数量建议 4 核 CPU、16GB 内存起步存储节点3 个节点每个节点 4 核 CPU、8GB 内存配备高性能存储2.2 网络规划确保集群节点间网络通畅建议节点间延迟 1ms带宽 1Gbps为 KubeSphere 网关配置 VIP 或负载均衡器2.3 软件版本要求Kubernetes: v1.20KubeSphere: v3.3.0Docker: 20.10Helm: v3.2.03. KubeSphere 高可用安装3.1 使用 KubeKey 部署 Kubernetes 集群KubeKey 是 KubeSphere 官方提供的集群部署工具支持一键部署高可用 Kubernetes 集群。# 下载 KubeKey curl -sfL https://get-kk.kubesphere.io | VERSIONv2.2.1 sh - # 创建集群配置文件 ./kk create config --with-kubesphere v3.3.0 --with-kubernetes v1.22.10 # 修改配置文件 vim config-sample.yaml配置示例apiVersion: kubekey.kubesphere.io/v1alpha2 kind: Cluster metadata: name: sample spec: hosts: - {name: master1, address: 192.168.0.2, internalAddress: 192.168.0.2, user: root, password: P88w0rd} - {name: master2, address: 192.168.0.3, internalAddress: 192.168.0.3, user: root, password: P88w0rd} - {name: master3, address: 192.168.0.4, internalAddress: 192.168.0.4, user: root, password: P88w0rd} - {name: worker1, address: 192.168.0.5, internalAddress: 192.168.0.5, user: root, password: P88w0rd} - {name: worker2, address: 192.168.0.6, internalAddress: 192.168.0.6, user: root, password: P88w0rd} roleGroups: etcd: - master1 - master2 - master3 control-plane: - master1 - master2 - master3 worker: - worker1 - worker2 controlPlaneEndpoint: domain: lb.kubesphere.local address: 192.168.0.100 port: 6443 kubernetes: version: v1.22.10 clusterName: cluster.local network: plugin: calico kubePodsCIDR: 10.233.64.0/18 kubeServiceCIDR: 10.233.0.0/18 registry: registryMirrors: [] insecureRegistries: [] addons: []3.2 执行集群安装./kk create cluster -f config-sample.yaml安装完成后检查集群状态kubectl get nodes kubectl get pods -A4. DevOps 组件高可用配置4.1 启用 DevOps 组件通过修改 ClusterConfiguration 启用 DevOps 组件kubectl edit cc -n kubesphere-system ks-installer找到 devops 部分修改为devops: enabled: true jenkinsMemoryLim: 8Gi jenkinsMemoryReq: 4Gi jenkinsVolumeSize: 50Gi jenkinsJavaOpts_Xms: 4g jenkinsJavaOpts_Xmx: 8g jenkinsJavaOpts_MaxRAM: 8g保存后KubeSphere 会自动安装 DevOps 组件。4.2 验证 DevOps 组件状态kubectl get pods -n kubesphere-devops-system预期输出应包含以下组件且状态为 Runningdevops-apiserverdevops-controllerdevops-jenkinss2ioperator4.3 配置 Jenkins 高可用默认情况下Jenkins 以单副本运行。为了实现高可用需要修改部署配置kubectl edit deploy -n kubesphere-devops-system devops-jenkins修改以下参数spec: replicas: 2 strategy: rollingUpdate: maxSurge: 1 maxUnavailable: 0 type: RollingUpdate同时确保使用共享存储卷如 NFS、Ceph 等持久化 Jenkins 数据。5. CI/CD 流水线实战5.1 创建 DevOps 项目登录 KubeSphere 控制台进入目标企业空间创建 DevOps 项目配置代码仓库凭证GitHub/GitLab配置镜像仓库凭证Harbor/Docker Hub5.2 示例流水线配置以下是一个完整的 Jenkinsfile 示例实现了代码拉取、构建、测试、镜像打包和部署的全流程pipeline { agent { node { label maven } } parameters { string(name: BRANCH_NAME, defaultValue: master, description: ) string(name: TAG_NAME, defaultValue: , description: ) } environment { DOCKER_CREDENTIAL_ID harbor-credential GITHUB_CREDENTIAL_ID github-credential KUBECONFIG_CREDENTIAL_ID kubeconfig-credential REGISTRY registry.example.com DOCKERHUB_NAMESPACE myproject APP_NAME demo-app } stages { stage(拉取代码) { steps { git(url: https://github.com/myproject/demo-app.git, credentialsId: $GITHUB_CREDENTIAL_ID, branch: $BRANCH_NAME) } } stage(单元测试) { steps { container(maven) { sh mvn clean test } } } stage(构建) { steps { container(maven) { sh mvn clean package -DskipTests } } } stage(构建镜像) { steps { container(maven) { withCredentials([usernamePassword(credentialsId: $DOCKER_CREDENTIAL_ID, usernameVariable: DOCKER_USERNAME, passwordVariable: DOCKER_PASSWORD)]) { sh echo $DOCKER_PASSWORD | docker login $REGISTRY -u $DOCKER_USERNAME --password-stdin docker build -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$TAG_NAME . docker push $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$TAG_NAME } } } } stage(部署到生产) { when { branch master } steps { input(id: deploy-to-prod, message: 确认部署到生产环境?) container(maven) { withCredentials([kubeconfigFile(credentialsId: env.KUBECONFIG_CREDENTIAL_ID, variable: KUBECONFIG)]) { sh envsubst deploy/prod.yaml | kubectl apply -f - } } } } } }5.3 流水线运行与监控在 KubeSphere DevOps 项目中创建流水线选择基于 Jenkinsfile创建粘贴上述 Jenkinsfile 内容保存并运行流水线在控制台查看实时日志和构建状态6. 高可用架构优化建议6.1 Jenkins 性能优化调整 JVM 参数devops: jenkinsJavaOpts_Xms: 4g jenkinsJavaOpts_Xmx: 8g jenkinsJavaOpts_MaxRAM: 8g配置 Jenkins 执行器数量kubectl exec -n kubesphere-devops-system devops-jenkins-xxx -- bash -c \ sed -i s/numExecutors2\/numExecutors/numExecutors4\/numExecutors/g /var/jenkins_home/config.xml6.2 存储高可用方案使用分布式存储系统如 Ceph、Longhorn配置存储卷的副本数 3定期备份 Jenkins 数据6.3 网络优化为 DevOps 组件配置专用网络策略启用网络 QoS 保证关键流量配置 Ingress 负载均衡7. 故障排查与维护7.1 常见问题排查DevOps 组件启动失败kubectl logs -n kubesphere-devops-system devops-jenkins-xxx kubectl describe pod -n kubesphere-devops-system devops-jenkins-xxx流水线执行失败检查 Jenkins 日志验证凭证配置检查资源配额7.2 日常维护建议定期升级 KubeSphere 和 DevOps 组件监控关键指标Jenkins CPU/内存使用率构建队列长度存储空间使用情况设置告警规则构建失败率 5%节点不可用时间 5分钟存储空间不足预警8. 生产环境最佳实践实施严格的权限控制按角色分配权限限制敏感操作审计日志记录配置备份策略定期备份 Jenkins 配置备份流水线历史测试恢复流程性能调优根据负载调整 Jenkins 资源配额优化 Docker 构建缓存配置构建节点亲和性安全加固定期轮换凭证扫描镜像漏洞限制网络访问通过以上步骤您可以构建一个高可用的 KubeSphere DevOps 环境满足企业级 CI/CD 需求。实际部署时请根据具体业务场景调整配置参数。
1. KubeSphere DevOps 高可用部署概述KubeSphere 是一个开源的容器平台基于 Kubernetes 构建提供 DevOps、服务网格、可观测性等企业级功能。其中 DevOps 功能基于 Jenkins 实现为 Kubernetes 环境提供了完整的 CI/CD 解决方案。高可用部署是生产环境的基本要求通过多节点部署和负载均衡可以确保系统在单点故障时仍能正常运行。本文将详细介绍如何在 KubeSphere 中实现 DevOps 组件的高可用部署。2. 环境准备与规划2.1 硬件资源配置建议对于生产环境的高可用部署建议采用以下配置控制节点至少 3 个节点每个节点 4 核 CPU、8GB 内存工作节点根据业务需求确定数量建议 4 核 CPU、16GB 内存起步存储节点3 个节点每个节点 4 核 CPU、8GB 内存配备高性能存储2.2 网络规划确保集群节点间网络通畅建议节点间延迟 1ms带宽 1Gbps为 KubeSphere 网关配置 VIP 或负载均衡器2.3 软件版本要求Kubernetes: v1.20KubeSphere: v3.3.0Docker: 20.10Helm: v3.2.03. KubeSphere 高可用安装3.1 使用 KubeKey 部署 Kubernetes 集群KubeKey 是 KubeSphere 官方提供的集群部署工具支持一键部署高可用 Kubernetes 集群。# 下载 KubeKey curl -sfL https://get-kk.kubesphere.io | VERSIONv2.2.1 sh - # 创建集群配置文件 ./kk create config --with-kubesphere v3.3.0 --with-kubernetes v1.22.10 # 修改配置文件 vim config-sample.yaml配置示例apiVersion: kubekey.kubesphere.io/v1alpha2 kind: Cluster metadata: name: sample spec: hosts: - {name: master1, address: 192.168.0.2, internalAddress: 192.168.0.2, user: root, password: P88w0rd} - {name: master2, address: 192.168.0.3, internalAddress: 192.168.0.3, user: root, password: P88w0rd} - {name: master3, address: 192.168.0.4, internalAddress: 192.168.0.4, user: root, password: P88w0rd} - {name: worker1, address: 192.168.0.5, internalAddress: 192.168.0.5, user: root, password: P88w0rd} - {name: worker2, address: 192.168.0.6, internalAddress: 192.168.0.6, user: root, password: P88w0rd} roleGroups: etcd: - master1 - master2 - master3 control-plane: - master1 - master2 - master3 worker: - worker1 - worker2 controlPlaneEndpoint: domain: lb.kubesphere.local address: 192.168.0.100 port: 6443 kubernetes: version: v1.22.10 clusterName: cluster.local network: plugin: calico kubePodsCIDR: 10.233.64.0/18 kubeServiceCIDR: 10.233.0.0/18 registry: registryMirrors: [] insecureRegistries: [] addons: []3.2 执行集群安装./kk create cluster -f config-sample.yaml安装完成后检查集群状态kubectl get nodes kubectl get pods -A4. DevOps 组件高可用配置4.1 启用 DevOps 组件通过修改 ClusterConfiguration 启用 DevOps 组件kubectl edit cc -n kubesphere-system ks-installer找到 devops 部分修改为devops: enabled: true jenkinsMemoryLim: 8Gi jenkinsMemoryReq: 4Gi jenkinsVolumeSize: 50Gi jenkinsJavaOpts_Xms: 4g jenkinsJavaOpts_Xmx: 8g jenkinsJavaOpts_MaxRAM: 8g保存后KubeSphere 会自动安装 DevOps 组件。4.2 验证 DevOps 组件状态kubectl get pods -n kubesphere-devops-system预期输出应包含以下组件且状态为 Runningdevops-apiserverdevops-controllerdevops-jenkinss2ioperator4.3 配置 Jenkins 高可用默认情况下Jenkins 以单副本运行。为了实现高可用需要修改部署配置kubectl edit deploy -n kubesphere-devops-system devops-jenkins修改以下参数spec: replicas: 2 strategy: rollingUpdate: maxSurge: 1 maxUnavailable: 0 type: RollingUpdate同时确保使用共享存储卷如 NFS、Ceph 等持久化 Jenkins 数据。5. CI/CD 流水线实战5.1 创建 DevOps 项目登录 KubeSphere 控制台进入目标企业空间创建 DevOps 项目配置代码仓库凭证GitHub/GitLab配置镜像仓库凭证Harbor/Docker Hub5.2 示例流水线配置以下是一个完整的 Jenkinsfile 示例实现了代码拉取、构建、测试、镜像打包和部署的全流程pipeline { agent { node { label maven } } parameters { string(name: BRANCH_NAME, defaultValue: master, description: ) string(name: TAG_NAME, defaultValue: , description: ) } environment { DOCKER_CREDENTIAL_ID harbor-credential GITHUB_CREDENTIAL_ID github-credential KUBECONFIG_CREDENTIAL_ID kubeconfig-credential REGISTRY registry.example.com DOCKERHUB_NAMESPACE myproject APP_NAME demo-app } stages { stage(拉取代码) { steps { git(url: https://github.com/myproject/demo-app.git, credentialsId: $GITHUB_CREDENTIAL_ID, branch: $BRANCH_NAME) } } stage(单元测试) { steps { container(maven) { sh mvn clean test } } } stage(构建) { steps { container(maven) { sh mvn clean package -DskipTests } } } stage(构建镜像) { steps { container(maven) { withCredentials([usernamePassword(credentialsId: $DOCKER_CREDENTIAL_ID, usernameVariable: DOCKER_USERNAME, passwordVariable: DOCKER_PASSWORD)]) { sh echo $DOCKER_PASSWORD | docker login $REGISTRY -u $DOCKER_USERNAME --password-stdin docker build -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$TAG_NAME . docker push $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$TAG_NAME } } } } stage(部署到生产) { when { branch master } steps { input(id: deploy-to-prod, message: 确认部署到生产环境?) container(maven) { withCredentials([kubeconfigFile(credentialsId: env.KUBECONFIG_CREDENTIAL_ID, variable: KUBECONFIG)]) { sh envsubst deploy/prod.yaml | kubectl apply -f - } } } } } }5.3 流水线运行与监控在 KubeSphere DevOps 项目中创建流水线选择基于 Jenkinsfile创建粘贴上述 Jenkinsfile 内容保存并运行流水线在控制台查看实时日志和构建状态6. 高可用架构优化建议6.1 Jenkins 性能优化调整 JVM 参数devops: jenkinsJavaOpts_Xms: 4g jenkinsJavaOpts_Xmx: 8g jenkinsJavaOpts_MaxRAM: 8g配置 Jenkins 执行器数量kubectl exec -n kubesphere-devops-system devops-jenkins-xxx -- bash -c \ sed -i s/numExecutors2\/numExecutors/numExecutors4\/numExecutors/g /var/jenkins_home/config.xml6.2 存储高可用方案使用分布式存储系统如 Ceph、Longhorn配置存储卷的副本数 3定期备份 Jenkins 数据6.3 网络优化为 DevOps 组件配置专用网络策略启用网络 QoS 保证关键流量配置 Ingress 负载均衡7. 故障排查与维护7.1 常见问题排查DevOps 组件启动失败kubectl logs -n kubesphere-devops-system devops-jenkins-xxx kubectl describe pod -n kubesphere-devops-system devops-jenkins-xxx流水线执行失败检查 Jenkins 日志验证凭证配置检查资源配额7.2 日常维护建议定期升级 KubeSphere 和 DevOps 组件监控关键指标Jenkins CPU/内存使用率构建队列长度存储空间使用情况设置告警规则构建失败率 5%节点不可用时间 5分钟存储空间不足预警8. 生产环境最佳实践实施严格的权限控制按角色分配权限限制敏感操作审计日志记录配置备份策略定期备份 Jenkins 配置备份流水线历史测试恢复流程性能调优根据负载调整 Jenkins 资源配额优化 Docker 构建缓存配置构建节点亲和性安全加固定期轮换凭证扫描镜像漏洞限制网络访问通过以上步骤您可以构建一个高可用的 KubeSphere DevOps 环境满足企业级 CI/CD 需求。实际部署时请根据具体业务场景调整配置参数。
