1. 环境准备与安装部署概述在开始任何技术项目前环境准备都是最基础也是最重要的环节。就像盖房子需要先打地基一样一个稳定、可靠的环境是后续所有工作的基石。我见过太多项目因为环境问题而中途夭折也亲身经历过因为环境配置不当而导致的无数个不眠之夜。这一章我将分享十年来积累的环境准备经验从硬件选型到软件配置从依赖管理到环境验证带你避开那些我踩过的坑。环境准备不仅仅是安装软件这么简单它涉及到系统兼容性、资源分配、网络配置、安全策略等多个维度。一个专业的部署环境应该具备可重复性、隔离性和可追溯性三大特性。这意味着无论在任何机器上我们都能快速重建相同的环境不同项目之间的环境不会相互干扰同时所有配置变更都有据可查。2. 硬件与操作系统准备2.1 硬件需求评估硬件选型不是越贵越好而是要根据项目实际需求来匹配。我通常会从以下几个维度进行评估CPU计算密集型应用需要更多核心而IO密集型应用则更看重单核性能。比如机器学习训练需要多核并行而Web服务器则更注重单请求响应速度。内存Java系应用通常需要更多内存而Go语言应用则相对节省。一个简单的估算方法是基准内存应用进程内存 × 预计并发数 系统预留(至少1GB)。存储数据库类应用需要低延迟的SSD而日志存储则可以使用大容量HDD。特别注意IOPS指标它直接影响数据库性能。提示生产环境务必预留30%以上的资源余量应对流量突发情况。我曾经因为节省成本将内存用到90%结果一次小流量突增就导致系统崩溃。2.2 操作系统选择与优化操作系统是软件的运行基础选择不当会导致后续各种兼容性问题。我的选择标准是长期支持版本优先选择LTS版本如Ubuntu 20.04 LTS避免使用非稳定版。最小化安装只安装必要组件减少安全漏洞和资源占用。内核参数调优特别是文件描述符数、TCP连接参数等。对于Linux系统我必做的几项优化# 增大文件描述符限制 echo * soft nofile 65535 /etc/security/limits.conf echo * hard nofile 65535 /etc/security/limits.conf # TCP参数优化 echo net.ipv4.tcp_tw_reuse 1 /etc/sysctl.conf echo net.core.somaxconn 1024 /etc/sysctl.conf sysctl -p3. 软件环境配置3.1 依赖管理最佳实践依赖管理是环境配置中最容易出问题的环节。我强烈建议使用虚拟环境或容器技术来隔离不同项目的依赖。以Python为例# 创建虚拟环境 python -m venv myenv source myenv/bin/activate # 使用requirements.txt固定版本 pip install -r requirements.txt对于Java项目我推荐使用Maven或Gradle的依赖锁定功能!-- Maven的pom.xml中锁定版本 -- dependency groupIdorg.springframework/groupId artifactIdspring-core/artifactId version5.3.18/version /dependency3.2 容器化部署方案Docker已经成为环境标准化的事实标准。这是我常用的Dockerfile模板FROM ubuntu:20.04 # 设置时区 ENV TZAsia/Shanghai RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime echo $TZ /etc/timezone # 安装基础工具 RUN apt-get update apt-get install -y \ curl \ git \ vim # 复制应用代码 COPY . /app WORKDIR /app # 安装依赖 RUN pip install -r requirements.txt # 暴露端口 EXPOSE 8080 # 启动命令 CMD [python, app.py]使用docker-compose可以更方便地管理多容器应用version: 3 services: web: build: . ports: - 8080:8080 environment: - DEBUGfalse redis: image: redis:alpine volumes: - redis_data:/data volumes: redis_data:4. 环境验证与监控4.1 环境健康检查环境部署完成后必须进行全面的验证。我通常会编写自动化检查脚本import psutil import requests def check_system(): # CPU检查 if psutil.cpu_percent() 90: raise Exception(CPU负载过高) # 内存检查 if psutil.virtual_memory().percent 90: raise Exception(内存不足) # 服务检查 try: response requests.get(http://localhost:8080/health) if response.status_code ! 200: raise Exception(服务异常) except: raise Exception(服务不可达) if __name__ __main__: check_system()4.2 监控系统配置Prometheus Grafana是我最推荐的监控方案。配置示例Prometheus配置(prometheus.yml)global: scrape_interval: 15s scrape_configs: - job_name: web-service static_configs: - targets: [localhost:8080]Grafana仪表盘导入ID11074这是一个通用的Spring Boot监控面板5. 常见问题排查5.1 端口冲突问题这是最常见的问题之一。排查步骤查找占用端口的进程sudo lsof -i :8080终止冲突进程或修改应用端口kill -9 PID5.2 依赖版本冲突典型的症状是在我机器上能运行。解决方法使用依赖树分析工具# Maven项目 mvn dependency:tree # Python项目 pipdeptree排除冲突依赖或统一版本号5.3 权限问题Linux系统下经常遇到的坑。几个关键命令# 修改文件所有者 chown -R user:group /path/to/dir # 修改文件权限 chmod -R 755 /path/to/dir # 查看SELinux状态 getenforce6. 进阶技巧6.1 环境配置自动化使用Ansible可以实现环境配置的完全自动化。示例playbook- hosts: all become: yes tasks: - name: Install Java apt: name: openjdk-11-jdk state: present - name: Create app directory file: path: /opt/myapp state: directory mode: 0755 - name: Copy application copy: src: target/myapp.jar dest: /opt/myapp/myapp.jar6.2 多环境管理使用不同的配置文件管理开发、测试、生产环境config/ ├── dev.yaml ├── test.yaml └── prod.yaml在代码中根据环境变量加载配置import os import yaml env os.getenv(APP_ENV, dev) with open(fconfig/{env}.yaml) as f: config yaml.safe_load(f)6.3 安全加固生产环境必须进行安全加固禁用root远程登录配置防火墙规则定期更新安全补丁配置日志审计这是我常用的初始化安全脚本片段# 禁用root登录 sed -i s/PermitRootLogin yes/PermitRootLogin no/ /etc/ssh/sshd_config # 配置防火墙 ufw allow 22/tcp ufw allow 80/tcp ufw allow 443/tcp ufw enable # 自动安全更新 apt-get install -y unattended-upgrades dpkg-reconfigure -plow unattended-upgrades经过这些年的实践我总结出一条黄金法则环境配置的文档再详细都不为过。每次配置变更都要及时更新文档并且要包含回滚方案。记住一个可重复、可验证的环境配置抵得过十次紧急故障处理。
1. 环境准备与安装部署概述在开始任何技术项目前环境准备都是最基础也是最重要的环节。就像盖房子需要先打地基一样一个稳定、可靠的环境是后续所有工作的基石。我见过太多项目因为环境问题而中途夭折也亲身经历过因为环境配置不当而导致的无数个不眠之夜。这一章我将分享十年来积累的环境准备经验从硬件选型到软件配置从依赖管理到环境验证带你避开那些我踩过的坑。环境准备不仅仅是安装软件这么简单它涉及到系统兼容性、资源分配、网络配置、安全策略等多个维度。一个专业的部署环境应该具备可重复性、隔离性和可追溯性三大特性。这意味着无论在任何机器上我们都能快速重建相同的环境不同项目之间的环境不会相互干扰同时所有配置变更都有据可查。2. 硬件与操作系统准备2.1 硬件需求评估硬件选型不是越贵越好而是要根据项目实际需求来匹配。我通常会从以下几个维度进行评估CPU计算密集型应用需要更多核心而IO密集型应用则更看重单核性能。比如机器学习训练需要多核并行而Web服务器则更注重单请求响应速度。内存Java系应用通常需要更多内存而Go语言应用则相对节省。一个简单的估算方法是基准内存应用进程内存 × 预计并发数 系统预留(至少1GB)。存储数据库类应用需要低延迟的SSD而日志存储则可以使用大容量HDD。特别注意IOPS指标它直接影响数据库性能。提示生产环境务必预留30%以上的资源余量应对流量突发情况。我曾经因为节省成本将内存用到90%结果一次小流量突增就导致系统崩溃。2.2 操作系统选择与优化操作系统是软件的运行基础选择不当会导致后续各种兼容性问题。我的选择标准是长期支持版本优先选择LTS版本如Ubuntu 20.04 LTS避免使用非稳定版。最小化安装只安装必要组件减少安全漏洞和资源占用。内核参数调优特别是文件描述符数、TCP连接参数等。对于Linux系统我必做的几项优化# 增大文件描述符限制 echo * soft nofile 65535 /etc/security/limits.conf echo * hard nofile 65535 /etc/security/limits.conf # TCP参数优化 echo net.ipv4.tcp_tw_reuse 1 /etc/sysctl.conf echo net.core.somaxconn 1024 /etc/sysctl.conf sysctl -p3. 软件环境配置3.1 依赖管理最佳实践依赖管理是环境配置中最容易出问题的环节。我强烈建议使用虚拟环境或容器技术来隔离不同项目的依赖。以Python为例# 创建虚拟环境 python -m venv myenv source myenv/bin/activate # 使用requirements.txt固定版本 pip install -r requirements.txt对于Java项目我推荐使用Maven或Gradle的依赖锁定功能!-- Maven的pom.xml中锁定版本 -- dependency groupIdorg.springframework/groupId artifactIdspring-core/artifactId version5.3.18/version /dependency3.2 容器化部署方案Docker已经成为环境标准化的事实标准。这是我常用的Dockerfile模板FROM ubuntu:20.04 # 设置时区 ENV TZAsia/Shanghai RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime echo $TZ /etc/timezone # 安装基础工具 RUN apt-get update apt-get install -y \ curl \ git \ vim # 复制应用代码 COPY . /app WORKDIR /app # 安装依赖 RUN pip install -r requirements.txt # 暴露端口 EXPOSE 8080 # 启动命令 CMD [python, app.py]使用docker-compose可以更方便地管理多容器应用version: 3 services: web: build: . ports: - 8080:8080 environment: - DEBUGfalse redis: image: redis:alpine volumes: - redis_data:/data volumes: redis_data:4. 环境验证与监控4.1 环境健康检查环境部署完成后必须进行全面的验证。我通常会编写自动化检查脚本import psutil import requests def check_system(): # CPU检查 if psutil.cpu_percent() 90: raise Exception(CPU负载过高) # 内存检查 if psutil.virtual_memory().percent 90: raise Exception(内存不足) # 服务检查 try: response requests.get(http://localhost:8080/health) if response.status_code ! 200: raise Exception(服务异常) except: raise Exception(服务不可达) if __name__ __main__: check_system()4.2 监控系统配置Prometheus Grafana是我最推荐的监控方案。配置示例Prometheus配置(prometheus.yml)global: scrape_interval: 15s scrape_configs: - job_name: web-service static_configs: - targets: [localhost:8080]Grafana仪表盘导入ID11074这是一个通用的Spring Boot监控面板5. 常见问题排查5.1 端口冲突问题这是最常见的问题之一。排查步骤查找占用端口的进程sudo lsof -i :8080终止冲突进程或修改应用端口kill -9 PID5.2 依赖版本冲突典型的症状是在我机器上能运行。解决方法使用依赖树分析工具# Maven项目 mvn dependency:tree # Python项目 pipdeptree排除冲突依赖或统一版本号5.3 权限问题Linux系统下经常遇到的坑。几个关键命令# 修改文件所有者 chown -R user:group /path/to/dir # 修改文件权限 chmod -R 755 /path/to/dir # 查看SELinux状态 getenforce6. 进阶技巧6.1 环境配置自动化使用Ansible可以实现环境配置的完全自动化。示例playbook- hosts: all become: yes tasks: - name: Install Java apt: name: openjdk-11-jdk state: present - name: Create app directory file: path: /opt/myapp state: directory mode: 0755 - name: Copy application copy: src: target/myapp.jar dest: /opt/myapp/myapp.jar6.2 多环境管理使用不同的配置文件管理开发、测试、生产环境config/ ├── dev.yaml ├── test.yaml └── prod.yaml在代码中根据环境变量加载配置import os import yaml env os.getenv(APP_ENV, dev) with open(fconfig/{env}.yaml) as f: config yaml.safe_load(f)6.3 安全加固生产环境必须进行安全加固禁用root远程登录配置防火墙规则定期更新安全补丁配置日志审计这是我常用的初始化安全脚本片段# 禁用root登录 sed -i s/PermitRootLogin yes/PermitRootLogin no/ /etc/ssh/sshd_config # 配置防火墙 ufw allow 22/tcp ufw allow 80/tcp ufw allow 443/tcp ufw enable # 自动安全更新 apt-get install -y unattended-upgrades dpkg-reconfigure -plow unattended-upgrades经过这些年的实践我总结出一条黄金法则环境配置的文档再详细都不为过。每次配置变更都要及时更新文档并且要包含回滚方案。记住一个可重复、可验证的环境配置抵得过十次紧急故障处理。
