1. 项目概述在当今的软件开发领域持续集成和持续交付(CI/CD)已经成为提升团队效率的标配。作为一名经历过无数次手动部署痛苦的老兵我深刻体会到自动化部署的价值。本文将分享如何利用Jenkins和Docker这对黄金组合搭建完整的CI/CD流水线。这个方案特别适合中小型团队它能将原本需要数小时的部署过程缩短到几分钟内完成。我们团队在使用这套方案后部署频率从每周一次提升到每天多次而部署失败率却降低了80%。2. 环境准备与安装2.1 Docker环境搭建首先需要在服务器上安装Docker引擎。我推荐使用官方安装脚本它能自动检测系统版本并安装合适的Docker版本curl -fsSL https://get.docker.com | sh安装完成后记得将当前用户加入docker组以避免每次都要sudosudo usermod -aG docker $USER注意修改用户组后需要重新登录才能生效国内用户建议配置镜像加速器这里以阿里云为例sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json -EOF { registry-mirrors: [https://你的ID.mirror.aliyuncs.com] } EOF sudo systemctl daemon-reload sudo systemctl restart docker2.2 Jenkins容器化部署传统方式安装Jenkins需要配置Java环境等各种依赖而使用Docker可以一键搞定docker run -d \ --name jenkins \ -p 8080:8080 \ -p 50000:50000 \ -v jenkins_home:/var/jenkins_home \ jenkins/jenkins:lts-jdk11这个命令做了以下几件事使用官方LTS版本的Jenkins镜像映射8080端口用于Web访问映射50000端口用于agent连接创建数据卷持久化Jenkins配置首次启动后需要通过日志获取初始密码docker logs jenkins在日志中找到类似这样的行Jenkins initial setup is required. An admin user has been created and a password generated. Please use the following password to proceed to installation: xxxxxxxxxxxxxxxxxxxxxx3. Jenkins基础配置3.1 初始化设置访问http://服务器IP:8080输入刚才获取的密码完成初始化。我建议选择安装推荐插件这会包含最常用的插件如Git、Pipeline等。创建管理员账户时务必使用强密码并妥善保存。我们团队曾经因为使用简单密码导致被入侵造成了不小损失。3.2 关键插件安装除了默认插件外还需要安装以下关键插件Docker Pipeline用于在Pipeline中操作DockerBlue Ocean提供更直观的流水线视图SonarQube Scanner可选代码质量分析Email Extension邮件通知提示国内用户可能会遇到插件下载慢的问题可以更换为清华镜像源进入Manage Jenkins → Manage Plugins → Advanced在Update Site中将URL替换为 https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json点击Submit后立即生效3.3 系统配置在Manage Jenkins → Configure System中有几个关键配置设置系统管理员邮箱用于发送通知配置Docker Cloud后续会详细介绍设置全局环境变量如DOCKER_HOSTtcp://localhost:2375JAVA_HOME/usr/lib/jvm/java-11-openjdk-amd644. Docker与Jenkins集成4.1 Docker-in-Docker方案为了让Jenkins能够使用Docker命令有几种方案可选。经过多次实践我发现最稳定的是Docker-in-DockerDinDdocker run -d \ --name jenkins \ -p 8080:8080 \ -p 50000:50000 \ -v jenkins_home:/var/jenkins_home \ -v /var/run/docker.sock:/var/run/docker.sock \ jenkins/jenkins:lts-jdk11关键点是挂载docker.sock文件这使得容器内的Jenkins可以直接调用宿主机的Docker引擎。安全提示这种方案有潜在安全风险仅建议在可信环境中使用。生产环境应考虑更安全的方案如使用Jenkins Agent。4.2 测试Docker集成创建一个测试Pipeline任务使用以下脚本验证Docker是否可用pipeline { agent any stages { stage(Test Docker) { steps { script { docker.image(alpine).inside { sh echo Hello from Docker! } } } } } }如果看到Hello from Docker!输出说明集成成功。5. 构建第一个CI/CD流水线5.1 基础流水线设计我们来创建一个完整的Java项目CI/CD流程包含以下阶段代码检出代码质量检查SonarQube单元测试构建Jar包构建Docker镜像推送镜像到仓库部署到测试环境对应的Jenkinsfile如下pipeline { agent any environment { DOCKER_REGISTRY your-registry.com PROJECT_NAME my-java-app VERSION ${env.BUILD_NUMBER} } stages { stage(Checkout) { steps { git branch: main, url: https://github.com/your-repo.git } } stage(SonarQube Analysis) { steps { withSonarQubeEnv(sonarqube-server) { sh mvn sonar:sonar } } } stage(Test) { steps { sh mvn test } } stage(Build) { steps { sh mvn package -DskipTests } } stage(Build Docker Image) { steps { script { docker.build(${DOCKER_REGISTRY}/${PROJECT_NAME}:${VERSION}) } } } stage(Push Image) { steps { script { docker.withRegistry(https://${DOCKER_REGISTRY}, docker-registry-creds) { docker.image(${DOCKER_REGISTRY}/${PROJECT_NAME}:${VERSION}).push() } } } } stage(Deploy to Test) { steps { sshagent([test-server-creds]) { sh ssh usertest-server docker pull ${DOCKER_REGISTRY}/${PROJECT_NAME}:${VERSION} \ docker stop ${PROJECT_NAME} || true \ docker rm ${PROJECT_NAME} || true \ docker run -d --name ${PROJECT_NAME} -p 8080:8080 ${DOCKER_REGISTRY}/${PROJECT_NAME}:${VERSION} } } } } }5.2 凭证管理流水线中使用了多种凭证需要在Jenkins中提前配置Git仓库凭证在Credentials → System → Global credentials中添加Docker仓库凭证同上选择Username with password类型SSH部署凭证添加SSH私钥用于服务器部署经验分享建议为不同环境使用不同的凭证并严格控制权限。我们曾经因为测试环境凭证被误用于生产环境导致事故。6. 高级技巧与优化6.1 使用Docker Compose部署对于复杂应用建议使用Docker Compose管理服务。可以在部署阶段这样做stage(Deploy with Compose) { steps { sshagent([prod-server-creds]) { sh scp docker-compose.yml userprod-server:/app/ ssh userprod-server cd /app \ docker-compose pull \ docker-compose down \ docker-compose up -d } } }6.2 多阶段构建优化利用Docker的多阶段构建可以显著减小镜像大小。示例DockerfileFROM maven:3.8.4-jdk-11 AS builder WORKDIR /app COPY . . RUN mvn package FROM openjdk:11-jre-slim WORKDIR /app COPY --frombuilder /app/target/*.jar app.jar EXPOSE 8080 ENTRYPOINT [java,-jar,app.jar]6.3 流水线并行执行对于大型项目可以并行执行测试和构建以节省时间stage(Parallel Stages) { parallel { stage(Unit Test) { steps { sh mvn test } } stage(Integration Test) { steps { sh mvn verify -DskipUnitTests } } } }7. 常见问题排查7.1 Docker连接问题错误Cannot connect to the Docker daemon解决方案确保容器内已挂载docker.sock检查docker.sock权限ls -l /var/run/docker.sock在容器内安装Docker客户端apt-get update apt-get install -y docker-ce-cli7.2 构建缓存问题现象代码已更新但构建仍使用旧代码解决方法在docker build时添加--no-cache参数或者使用docker system prune清理缓存7.3 资源不足问题错误Container killed due to memory usage解决方法增加Docker内存限制优化构建过程如使用.dockerignore排除不必要的文件在Jenkins中设置构建超时和资源限制8. 监控与日志完善的监控是CI/CD的重要部分。建议配置构建失败通知邮件/Slack使用ELK或Grafana收集和分析日志设置构建健康指标如构建成功率平均构建时间测试覆盖率趋势一个简单的日志收集配置示例post { always { archiveArtifacts artifacts: **/target/*.log, allowEmptyArchive: true junit **/target/surefire-reports/*.xml } failure { emailext body: 构建失败: ${BUILD_URL}, subject: 构建失败: ${JOB_NAME}, to: teamexample.com } }在实际使用中我发现这套方案最大的价值在于它的灵活性。你可以根据项目需求自由组合各个阶段比如前端项目可以加入npm构建和SonarJS分析Python项目可以加入pytest和pylint检查。关键是要建立适合团队工作流程的标准化流程而不是盲目追求复杂的工具链。
1. 项目概述在当今的软件开发领域持续集成和持续交付(CI/CD)已经成为提升团队效率的标配。作为一名经历过无数次手动部署痛苦的老兵我深刻体会到自动化部署的价值。本文将分享如何利用Jenkins和Docker这对黄金组合搭建完整的CI/CD流水线。这个方案特别适合中小型团队它能将原本需要数小时的部署过程缩短到几分钟内完成。我们团队在使用这套方案后部署频率从每周一次提升到每天多次而部署失败率却降低了80%。2. 环境准备与安装2.1 Docker环境搭建首先需要在服务器上安装Docker引擎。我推荐使用官方安装脚本它能自动检测系统版本并安装合适的Docker版本curl -fsSL https://get.docker.com | sh安装完成后记得将当前用户加入docker组以避免每次都要sudosudo usermod -aG docker $USER注意修改用户组后需要重新登录才能生效国内用户建议配置镜像加速器这里以阿里云为例sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json -EOF { registry-mirrors: [https://你的ID.mirror.aliyuncs.com] } EOF sudo systemctl daemon-reload sudo systemctl restart docker2.2 Jenkins容器化部署传统方式安装Jenkins需要配置Java环境等各种依赖而使用Docker可以一键搞定docker run -d \ --name jenkins \ -p 8080:8080 \ -p 50000:50000 \ -v jenkins_home:/var/jenkins_home \ jenkins/jenkins:lts-jdk11这个命令做了以下几件事使用官方LTS版本的Jenkins镜像映射8080端口用于Web访问映射50000端口用于agent连接创建数据卷持久化Jenkins配置首次启动后需要通过日志获取初始密码docker logs jenkins在日志中找到类似这样的行Jenkins initial setup is required. An admin user has been created and a password generated. Please use the following password to proceed to installation: xxxxxxxxxxxxxxxxxxxxxx3. Jenkins基础配置3.1 初始化设置访问http://服务器IP:8080输入刚才获取的密码完成初始化。我建议选择安装推荐插件这会包含最常用的插件如Git、Pipeline等。创建管理员账户时务必使用强密码并妥善保存。我们团队曾经因为使用简单密码导致被入侵造成了不小损失。3.2 关键插件安装除了默认插件外还需要安装以下关键插件Docker Pipeline用于在Pipeline中操作DockerBlue Ocean提供更直观的流水线视图SonarQube Scanner可选代码质量分析Email Extension邮件通知提示国内用户可能会遇到插件下载慢的问题可以更换为清华镜像源进入Manage Jenkins → Manage Plugins → Advanced在Update Site中将URL替换为 https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json点击Submit后立即生效3.3 系统配置在Manage Jenkins → Configure System中有几个关键配置设置系统管理员邮箱用于发送通知配置Docker Cloud后续会详细介绍设置全局环境变量如DOCKER_HOSTtcp://localhost:2375JAVA_HOME/usr/lib/jvm/java-11-openjdk-amd644. Docker与Jenkins集成4.1 Docker-in-Docker方案为了让Jenkins能够使用Docker命令有几种方案可选。经过多次实践我发现最稳定的是Docker-in-DockerDinDdocker run -d \ --name jenkins \ -p 8080:8080 \ -p 50000:50000 \ -v jenkins_home:/var/jenkins_home \ -v /var/run/docker.sock:/var/run/docker.sock \ jenkins/jenkins:lts-jdk11关键点是挂载docker.sock文件这使得容器内的Jenkins可以直接调用宿主机的Docker引擎。安全提示这种方案有潜在安全风险仅建议在可信环境中使用。生产环境应考虑更安全的方案如使用Jenkins Agent。4.2 测试Docker集成创建一个测试Pipeline任务使用以下脚本验证Docker是否可用pipeline { agent any stages { stage(Test Docker) { steps { script { docker.image(alpine).inside { sh echo Hello from Docker! } } } } } }如果看到Hello from Docker!输出说明集成成功。5. 构建第一个CI/CD流水线5.1 基础流水线设计我们来创建一个完整的Java项目CI/CD流程包含以下阶段代码检出代码质量检查SonarQube单元测试构建Jar包构建Docker镜像推送镜像到仓库部署到测试环境对应的Jenkinsfile如下pipeline { agent any environment { DOCKER_REGISTRY your-registry.com PROJECT_NAME my-java-app VERSION ${env.BUILD_NUMBER} } stages { stage(Checkout) { steps { git branch: main, url: https://github.com/your-repo.git } } stage(SonarQube Analysis) { steps { withSonarQubeEnv(sonarqube-server) { sh mvn sonar:sonar } } } stage(Test) { steps { sh mvn test } } stage(Build) { steps { sh mvn package -DskipTests } } stage(Build Docker Image) { steps { script { docker.build(${DOCKER_REGISTRY}/${PROJECT_NAME}:${VERSION}) } } } stage(Push Image) { steps { script { docker.withRegistry(https://${DOCKER_REGISTRY}, docker-registry-creds) { docker.image(${DOCKER_REGISTRY}/${PROJECT_NAME}:${VERSION}).push() } } } } stage(Deploy to Test) { steps { sshagent([test-server-creds]) { sh ssh usertest-server docker pull ${DOCKER_REGISTRY}/${PROJECT_NAME}:${VERSION} \ docker stop ${PROJECT_NAME} || true \ docker rm ${PROJECT_NAME} || true \ docker run -d --name ${PROJECT_NAME} -p 8080:8080 ${DOCKER_REGISTRY}/${PROJECT_NAME}:${VERSION} } } } } }5.2 凭证管理流水线中使用了多种凭证需要在Jenkins中提前配置Git仓库凭证在Credentials → System → Global credentials中添加Docker仓库凭证同上选择Username with password类型SSH部署凭证添加SSH私钥用于服务器部署经验分享建议为不同环境使用不同的凭证并严格控制权限。我们曾经因为测试环境凭证被误用于生产环境导致事故。6. 高级技巧与优化6.1 使用Docker Compose部署对于复杂应用建议使用Docker Compose管理服务。可以在部署阶段这样做stage(Deploy with Compose) { steps { sshagent([prod-server-creds]) { sh scp docker-compose.yml userprod-server:/app/ ssh userprod-server cd /app \ docker-compose pull \ docker-compose down \ docker-compose up -d } } }6.2 多阶段构建优化利用Docker的多阶段构建可以显著减小镜像大小。示例DockerfileFROM maven:3.8.4-jdk-11 AS builder WORKDIR /app COPY . . RUN mvn package FROM openjdk:11-jre-slim WORKDIR /app COPY --frombuilder /app/target/*.jar app.jar EXPOSE 8080 ENTRYPOINT [java,-jar,app.jar]6.3 流水线并行执行对于大型项目可以并行执行测试和构建以节省时间stage(Parallel Stages) { parallel { stage(Unit Test) { steps { sh mvn test } } stage(Integration Test) { steps { sh mvn verify -DskipUnitTests } } } }7. 常见问题排查7.1 Docker连接问题错误Cannot connect to the Docker daemon解决方案确保容器内已挂载docker.sock检查docker.sock权限ls -l /var/run/docker.sock在容器内安装Docker客户端apt-get update apt-get install -y docker-ce-cli7.2 构建缓存问题现象代码已更新但构建仍使用旧代码解决方法在docker build时添加--no-cache参数或者使用docker system prune清理缓存7.3 资源不足问题错误Container killed due to memory usage解决方法增加Docker内存限制优化构建过程如使用.dockerignore排除不必要的文件在Jenkins中设置构建超时和资源限制8. 监控与日志完善的监控是CI/CD的重要部分。建议配置构建失败通知邮件/Slack使用ELK或Grafana收集和分析日志设置构建健康指标如构建成功率平均构建时间测试覆盖率趋势一个简单的日志收集配置示例post { always { archiveArtifacts artifacts: **/target/*.log, allowEmptyArchive: true junit **/target/surefire-reports/*.xml } failure { emailext body: 构建失败: ${BUILD_URL}, subject: 构建失败: ${JOB_NAME}, to: teamexample.com } }在实际使用中我发现这套方案最大的价值在于它的灵活性。你可以根据项目需求自由组合各个阶段比如前端项目可以加入npm构建和SonarJS分析Python项目可以加入pytest和pylint检查。关键是要建立适合团队工作流程的标准化流程而不是盲目追求复杂的工具链。
