直接绕过概念科普说点进阶的。做Kubernetes时间长了你会发现一个很有意思的现象很多人天天用Deployment、天天写YAML但对Pod本身的理解其实一直停在“一个Pod里面跑一个容器”这个层面。等真到生产环境遇到Pod一直Pending、容器疯狂重启、配置死活不生效、滚动更新把服务搞挂这些场景才会意识到Pod的机制压根没吃透。这篇文章就围绕Pod进阶这条主线把Pod的共享网络原理、生命周期与探针、配置挂载方式、Deployment下的部署策略以及我在实际企业应用包括SAP和相关重量级业务系统Pod化过程中沉淀下来的经验一次性讲清楚。1. 先厘清一个基本问题Pod到底是什么为什么绕不开它1.1 容器是“云上的进程”Pod是给进程分组的“进程组”很多人把Pod理解成“运行容器的地方”这个说法不算错但会让你漏掉很多关键行为。更准确的说法是Pod是Kubernetes里最小的调度和资源分配单元是一个或多个容器的组合。容器本身只是一个被隔离的进程而Pod是这个进程组的外壳负责把这些进程绑定在同一台节点上共享同一套资源视图。你可以把Pod类比成一台“逻辑主机”里面的容器就像这台主机上跑的多个进程。现实中你不会动不动给每台机器只部署一个进程同样地某些场景下你也不该让每个容器都单独成为一个Pod。哪些场景适合多个容器放同一个Pod典型的是主容器加Sidecar模式主容器跑业务逻辑Sidecar容器负责日志采集、流量转发、指标暴露这种辅助功能。两个容器必须同生共死、共享网络这种强绑定关系用Pod来表示最合适。进阶的第一步就是转变视角不要只把Pod当容器列表而要把它当作一个有自己生命周期的逻辑实体。调度、重启、伸缩、网络分配全都是以Pod为单位发生的。这也是为什么Pod进阶必须从“Pod是进程组”这个认知开始。1.2 pause容器与共享网络Pod里所有容器通过localhost互访有个机制很多人用了很久都不知道每个Pod在启动主容器之前kubelet会先启动一个pause容器也叫沙盒容器。这个pause容器极其轻量几乎什么都不干它的作用只有一个——持有整个Pod的Network Namespace网络命名空间。主容器启动时不会创建自己的网络命名空间而是“加入”pause容器的网络命名空间。这就带来了一个非常重要的结论同一个Pod内的所有容器共享同一个IP地址共享同一个端口空间所以容器之间不能占用相同的端口通过localhost127.0.0.1就能互相访问不需要走Service。我见过不少刚从虚拟机迁移过来的同学习惯性地把两个服务部署到同一个Pod里结果端口冲突后启动的容器直接起不来。这就是没理解共享端口空间的后果。共享网络命名空间也意味着你在Pod内随便哪个容器执行ip addr看到的网络栈都是一样的。再说一个细节DNS解析。同一个Pod里的容器共享DNS配置所以Pod内的容器可以通过service-name访问集群里的其他服务但Pod内部容器之间直接互相访问用localhost就够了不要绕道走Service。这个习惯能让请求链路的延迟和故障复杂度都低很多。1.3 Pod不是终身绑定Deployment托管下的Pod是一个“可丢弃”的实例进阶的另一个重要认知是Pod不是宠物是牲口尤其在Deployment托管下。Deployment管理的Pod有唯一的Pod模板Pod TemplatePod本身有名字通常是deployment-name-replicaset-hash-pod-random-id但这个Pod一旦被删除、驱逐、替换新Pod的IP会变、名字会变唯一不变的是Pod模板和它携带的标签。这意味着把你的应用设计成“无状态、可重建”是Pod化的基本前提。别在Pod本地磁盘里存业务数据别缓存会话状态在Pod内存里除非你能容忍丢失别把任何Pod的IP写死到配置里。生产环境里那些“服务突然挂了重启好了但IP变了导致别的服务连不上”的故障基本都是没想明白这一条。为什么强调这一点因为它直接影响你怎么用Deployment、怎么理解滚动更新。滚动更新本质上就是“先起新的Pod再杀掉旧的Pod”如果应用有状态、不能接受同时存在新旧两个版本那你在Deployment里就处理不了得考虑StatefulSet或者额外的分布式锁。Pod进阶本质上就是学会判断“什么状态该放Pod里什么状态不该放Pod里”。2. Pod生命周期与探针机制把“活没活着”这件事讲清楚2.1 Pod的相位Phase与真实世界之间的差距kubectl get pod看到的STATUS列其实是PodPhase的简写映射。PodPhase有五个值Pending、Running、Succeeded、Failed、Unknown。Pending表示Pod已被API Server接受但还没完成调度或者镜像还在拉取Running表示Pod已经绑定到节点并且所有容器都已创建成功至少有一个容器处于运行或启动状态。新手最容易踩的坑就是Running不代表你的应用真能处理请求。Kubernetes判断Pod活着的默认依据是“容器进程还在”进程在并不等于业务可用。你把Java服务跑起来了但可能正在Full GC、连接池被耗尽、端口根本没监听成功这些情况进程都还活着。要解决这个问题必须引入探针Probe让Kubernetes用业务视角去判断Pod的健康状况。另一个容易误解的概念是restartPolicy。Pod的重启策略有三种Always、OnFailure、Never。注意这个策略是Pod级别的作用于Pod里所有容器。在Deployment下Pod模板里的restartPolicy只能配Always——这很正常因为Deployment就是用来保证Pod始终运行指定数量的副本。理解了这一点就不会问“为什么我这个Pod的restartPolicy改成Never不生效”这种问题了。2.2 三种探针的分工与合作别再用livenessProbe干readiness的活Kubernetes提供三种探针startupProbe启动探针、livenessProbe存活探针、readinessProbe就绪探针。很多人只用一个livenessProbe甚至把所有检查都写成curl /healthz这是生产事故的高发源头。三个探针的正确分工是startupProbe判断容器内的应用是否启动完成。这个探针一旦成功一次就不再执行。它的核心作用是保护慢启动的应用避免livenessProbe过早介入。livenessProbe周期性检查应用是否还活着。如果失败kubelet会杀掉容器并按restartPolicy重启。它适合做“死锁检测、致命错误检测”。readinessProbe周期性检查应用是否就绪。失败时kubelet不会杀掉容器而是把Pod从Service的Endpoints里摘掉流量不再打进来。它适合做“依赖是否可用、负载是否过高等检查”。我踩过一个很典型的坑给一个启动需要40秒的应用只配了livenessProbeinitialDelaySeconds设成10秒。结果livenessProbe在应用还没起来的时候就开始探测连续失败kubelet认为容器已死不断重启形成一个“永远启动不完”的死循环。后来加了startupProbe设置failureThreshold: 30、periodSeconds: 5给应用留了最多150秒的启动时间就好了。还有一个容易忽略的细节readinessProbe失败会从Service摘除但如果你的Service的externalTrafficPolicy配的是Local流量只会转发到本节点上就绪的Pod。此时如果所有Pod都未就绪请求会被拒掉connection refused而不是转发到别的节点。这种“局部不可用”的排查如果没有把探针机制理解透会非常费劲。2.3 init容器正式任务前的“准备车间”init容器初始化容器是Pod里的特殊容器在Pod的主容器启动之前必须全部成功结束。如果其中任何一个init容器失败Kubernetes会重启整个Pod。init容器按顺序执行前一个成功后下一个才开始。我推荐在下面这些场景里使用init容器理由很充分等待依赖服务就绪比如主容器启动前需要数据库可用你不希望在应用层做复杂重试可以写一个简单脚本在init容器里轮询连接。数据初始化与迁移启动时执行数据库脚本把迁移逻辑从应用进程里剥离出来。SAP类企业应用迁移到K8s时我见过很多团队用init容器做系统配置初始化和前序数据加载。文件权限与目录准备主容器以只读方式挂载卷前init容器先创建目录、调整属主。init容器和主容器的区别要记住init容器不支持readinessProbe和livenessProbe它只有“成功结束”或“失败重启”两种状态。另外init容器的资源计算是单独累加的requests和limits会加总所有init容器中的最大值参与调度计算这个细节后面讲资源时再展开。2.4 PostStart/PreStop与优雅停机别让滚动更新变成滚动事故Pod支持两个生命周期钩子postStart容器创建后立即执行和preStop容器终止前执行。postStart里执行的命令不保证在容器的ENTRYPOINT之前或之后你无法只靠它来确保顺序所以不要在里面硬写严格依赖。preStop的价值就大多了它是实现优雅停机的关键。默认情况下Pod被删除时会向主容器发送SIGTERM信号然后等待terminationGracePeriodSeconds默认30秒超时后直接SIGKILL。对很多现代应用来说收到SIGTERM后自动做优雅停机注销服务发现、排空连接、保存状态就够了。但如果你连接的是老式应用或者应用对SIGTERM处理得不好就要靠preStop来做兜底spec: containers: - name: app lifecycle: preStop: exec: command: [/bin/sh, -c, sleep 5]这个sleep 5的动作看似莫名其妙其实背后有讲究Deployment滚动更新时旧Pod收到SIGTERM前控制平面已经把它从Endpoints摘掉了但上游负载均衡器、网关可能还有存量连接。preStop睡眠几秒给这些连接一个感知和排空的时间窗口相关的Service不再把新流量转发过来存量请求也能被处理完。我在生产环境里建议的顺序是先配置preStop的sleep时间依据上游排空耗时定一般5~10秒再在应用里实现SIGTERM处理最后把terminationGracePeriodSeconds适当调大。没有这套组合拳滚动更新期间出现5xx错误是很常见的事。3. 部署与配置Deployment ConfigMap 组合拳3.1 Deployment到底是怎么“管”Pod的Deployment本身不直接管理Pod它管理的是ReplicaSetReplicaSet管理Pod。这个委托链条非常关键每次Deployment的Pod模板发生变化镜像版本、环境变量、资源配额等都会生成一个新的ReplicaSet新ReplicaSet负责扩容旧ReplicaSet负责缩容直到滚动更新完成。理解了这条链你就能看明白两个现象。第一个现象是kubectl rollout restart deployment/xxx为什么能触发滚动更新它没有修改镜像而是给Pod模板加了一个annotations标记kubectl.kubernetes.io/restartedAt模板变了新ReplicaSet自然产生。第二个现象是为什么你不应该直接去kubectl delete pod来尝试“刷新”Pod——删除Pod后确实会被ReplicaSet拉起新Pod但新Pod的配置还是旧的如果你改了ConfigMap但没改Deployment模板刷新十次也没用。企业应用上线时我强烈建议通过Deployment管理Pod而不是直接创建裸Pod或ReplicationController。理由很简单Deployment天然附带版本记录kubectl rollout history、回滚能力kubectl rollout undo、滚动更新控制maxSurge/maxUnavailable、以及暂停/恢复发布的能力。裸Pod是“无主”的删除后没人帮你拉起。3.2 滚动更新参数maxSurge和maxUnavailable别再拍脑袋配了spec.strategy.rollingUpdate有两个参数maxSurge最多超出期望副本数的Pod数量和maxUnavailable最多允许不可用的Pod数量。它们的默认值都是25%这个默认值对大多数场景是保守且安全的但到了追求稳定的企业环境你得自己算。举个例子你有10个副本maxUnavailable: 0表示更新期间不能有任何Pod不可用maxSurge: 1表示最多允许瞬时多出1个Pod。那么整个滚动更新的节奏就是先启动1个新Pod等它Ready后杀掉1个旧Pod再启动1个新Pod……直到全部替换。这个策略最稳发布窗口内容量始终保持“期望副本数 1”。如果服务能接受少量不可用可以把maxUnavailable调到1或2发布速度会明显加快。但不能把maxUnavailable设得太大比如50%否则滚动更新刚开始大量旧Pod被下线流量直接打到剩下的Pod上容量被打爆。我看过不止一起“更新发布了服务反而雪崩”的事故根因基本都是参数配置太激进。滚动更新还有一个关键关联对象minReadySeconds。它控制新Pod在没有稳定运行超过指定时间之前不算“可用”。设置minReadySeconds: 30能有效避免“新Pod一Ready就被放流量结果30秒后崩溃”这种发布假成功的情况。它和readinessProbe配合一个负责“业务是否就绪”一个负责“就绪后是否稳定”。3.3 ConfigMap两种挂载方式差异巨大ConfigMap是Kubernetes里把配置从镜像中解耦的标准方式但在实际使用中“配置不生效”的问题十有八九出在挂载方式没理解上。方式一是环境变量注入spec: containers: - name: app envFrom: - configMapRef: name: app-config方式二是卷挂载spec: containers: - name: app volumeMounts: - name: config-volume mountPath: /etc/config volumes: - name: config-volume configMap: name: app-config这两者的核心差异在于环境变量是容器启动时一次性注入的运行时修改ConfigMap不会影响已经在运行的容器而卷挂载方式下ConfigMap的内容会通过kubelet同步到Pod内的挂载目录应用只要监听文件变化就能热加载配置。更新ConfigMap后使用卷挂载的Pod内文件大约在1分钟内取决于kubelet同步周期默认是--sync-frequency通常为1分钟更新。但要注意一个坑如果你用subPath挂载ConfigMap里的单个文件那么这个文件不会热更新因为subPath挂载的是一个“文件引用”kubelet不会主动刷新它。需要热更新的场景请直接挂载整个目录或者挂载目录后再用软链接的方式把单个文件指过去。还有一个小技巧如果应用天生不支持热加载你可以通过“改名重新部署”的策略实现配置更新。具体做法是每次修改ConfigMap时给它生成一个新名字比如带上版本号app-config-v2然后更新Deployment里的引用触发一次滚动更新。这样虽然还是要重启Pod但好处是你随时可以通过kubectl rollout undo回滚到旧配置因为旧名字的ConfigMap还在。3.4 时区、密钥和configMap的“不可变”选项企业应用尤其是SAP这类对时间敏感的业务系统上容器后的一个高频问题是时区不一致。基础镜像很多默认是UTC时区而业务日志、批处理任务、报表统计都依赖本地时区。两个办法在Dockerfile里设置ENV TZAsia/Shanghai并安装tzdata包在Pod里挂载宿主机的/etc/localtime但不推荐因为不同节点的时区文件未必一致。更干净的做法是通过configMap挂载一个时区文件预先把/usr/share/zoneinfo/Asia/Shanghai的内容放进ConfigMap然后挂载到容器内的/etc/localtime。这种方式的好处是配置跟随集群走不依赖宿主机也不会因为节点重建导致时区漂移。ConfigMap进阶还有两个细节。第一immutable: true标记为不可变后ConfigMap就不允许被修改只能删除重建。这是生产环境防止“配置被顺手改乱”的有效手段代价是更新配置必须新建对象并重新滚动。第二ConfigMap有大小限制底层etcd默认是1MiB的请求限制单条内容超大数据比如几百K的配置文件就别硬塞ConfigMap了用独立的Volume或者对象存储更合理。4. 企业应用Pod化的经验沉淀从SAP类重量级应用说起4.1 有状态会话与Pod你能把什么放进Pod不能把什么放进PodSAP这类企业应用Pod化是一个很有意思的话题。这类系统往往有很重的状态依赖用户会话、共享内存、应用级文件锁、批处理作业状态。把这些系统直接扔进Deployment里滚动更新大概率会遇到问题。先说会话粘滞Session Affinity。老式应用把会话状态放在本机内存里如果滚动更新时Pod被杀死用户会话就丢了。即便你在Service上开了sessionAffinity: ClientIP也只是把同一个客户端IP的请求固定到同一个Pod上滚动更新换Pod时照样失效。解决方案不外乎三种把会话外置Redis、数据库应用变得无状态用StatefulSet保证稳定的网络标识Pod名和DNS但还是解决不了会话丢失用Pod的preStop钩子做会话排空滚动更新时先让旧Pod把存量会话处理完再退出。我最推荐的方向是第一种但这属于应用改造短期做不到的话至少要把preStop和优雅停机做好把单次发布造成的会话影响压到最小。这比天天祈祷Pod“别被调度走”靠谱多了。StatefulSet和Deployment的选择也是一道经典题。如果你确实需要稳定的存储、稳定的网络标识、且要求Pod按顺序启停比如数据库、ZooKeeper、Elasticsearch那就用StatefulSet不要为了“统一用Deployment”而牺牲正确性。但注意SAP这类业务应用本身不是分布式存储系统大多数时候真正需要稳定状态的是它们的数据库和消息中间件应用层还是尽量保持无状态。4.2 资源请求与限制QoS等级怎么选资源管理是Pod进阶绕不开的硬骨头。requests是调度依据limits是运行限制。CPU的limit是可压缩的超过limit只是被限流throttling不会杀死容器内存的limit是不可压缩的超过limit会触发OOMKilledkubelet直接杀容器。Kubernetes根据requests和limits的配置情况把Pod分为三个QoS等级QoS等级配置条件风险Guaranteed所有容器都设置了CPU和内存的requestslimits最优先保障几乎不会被驱逐Burstable至少有一个容器设置了requests或limits但不满足Guaranteed资源充裕时稳定节点压力大时可能被驱逐BestEffort所有容器都没设置requests和limits节点内存不足时第一个被驱逐生产环境我给企业应用的建议核心业务Pod至少配成Burstable甚至Guaranteed。在实际配置时我会先压测拿到应用的基准资源曲线再把requests设为基准值的80%limits设为峰值的1.5~2倍。这里千万别犯一个常见错误limits拉满但requests设置得很低。这样做虽然调度容易但节点超卖严重关键时刻整个节点的Pod一起被驱逐比单个Pod被杀更痛。还有一个容易坑到人的地方requests和limits如果只写了CPU没写内存或者只写了内存没写CPUKubernetes不会自动补全Pod的QoS等级会按已有配置计算。很多踩坑事故就是“明明加了limits为什么还是被驱逐”——因为你的Pod是Burstable不是Guaranteed。4.3 稳定性的踩坑清单企业应用Pod化后的典型问题企业应用Pod化上线后最折磨人的不是功能不跑而是偶发的不稳定。我把常见的坑整理一下镜像启动脚本里写daemonize让进程后台化。容器生命周期绑定的是前台进程你一旦让进程后台运行容器PID 1直接退出Pod被判定为失败并无限重启。任何应用进Pod前都必须以非daemon方式启动。日志写文件不写stdout。kubectl logs只能看到容器标准输出日志写到文件里就意味着排障时你得先kubectl exec进去看不仅麻烦Pod一删日志全没。企业应用进入K8s的第一周就应该把日志统一打到stdout由Sidecar或节点日志组件采集。依赖外网地址但网络策略没放开。Pod访问外部IP需要节点能路由或者配置Egress。很多应用在物理机上好好的一上Pod就各种超时先查网络策略和NAT别一上来就怀疑代码。文件权限问题。Pod里的容器默认用镜像里的用户运行企业应用经常需要写共享存储NFS、CephFS如果存储导出的目录属主是别的UIDPod里的进程没权限写。这事用init容器处理目录属主比修改应用镜像更通用。5. 常见问题排查实录从现象反推原理5.1 Pod一直Pending卡在哪里Pending表示Pod还没成功调度到节点上。排查思路按顺序来kubectl describe pod pod-name看Events里的告警。常见的几类0/5 nodes are available: insufficient cpu资源不足。加节点或调低requests。node(s) had untolerated taint节点有污点Pod没有对应容忍。要么给Pod加tolerations要么清楚为什么这个节点被打了污点。persistentvolumeclaim not found挂载的PVC不存在或没法绑定。检查StorageClass和PV状态。前面提过的“调度计算还要算init容器的资源”如果一个Pod的init容器requests很高主容器requests很低调度器按init容器的高值来预留资源。所以你会发现“Pod看起来只需要0.5核却调度不上去”很可能是init容器要2核。5.2 CrashLoopBackOff与OOMKilledCrashLoopBackOff表示容器启动后立刻崩溃kubelet按指数退避策略不断重启。核心排查命令是kubectl logs pod-name --previous加--previous看上一次容器的日志很重要因为当前容器已经崩了默认logs可能什么都拿不到。如果是OOMKilled用kubectl describe pod看最后一个State的Reason直接能看到“OOMKilled”字样。对策有两步先确认代码有没有真泄漏重启能不能解决再决定调大limit还是优化内存。只调limit不查泄漏就是把系统当止痛药用。还有一个偶发Crash的原因是startupProbe配太严应用启动慢startup探针失败次数过多容器被杀。遇到“日志显示进程刚起来就被杀”优先检查探针配置而不是怀疑代码。5.3 端口冲突与服务发现Pod共享网络命名空间导致同一Pod内的容器端口不能冲突。如果两个容器都监听8080后者会启动失败。排查时先kubectl exec进Pod执行ss -tlnp看监听情况。跨Pod访问的端口冲突则是另一个问题两个不同Pod监听了同端口没关系它们有不同的IP。但如果你在Service里选择了多个Pod而这些Pod里都用同一个端口跑不同服务那Service的targetPort就乱了。牢记Service的targetPort要显式声明成Pod里实际监听的端口不要靠默认值去猜。DNS解析问题也很常见。Pod访问Service时解析失败先看/etc/resolv.conf里的nameserver是否正确再看Service的selector是否匹配上了Pod的标签——用kubectl get endpoints service-name确认Endpoints里有IP。没有IP基本就是标签选择器写错了这个坑我见得太多了特别是用了matchExpressions之后。5.4 排查用的命令速查与操作心得日常排查我固定用下面这套组合拳kubectl get pod -o wide kubectl describe pod pod-name kubectl logs pod-name --previous kubectl exec -it pod-name -- /bin/sh kubectl get events --sort-by.lastTimestampkubectl get events经常被忽略其实它比describe能看到的全局时序更完整尤其是节点级别的资源压力、驱逐警告、镜像拉取问题描述信息里未必一条条都列全。再多说一个实操体会变更Pod前一定要先给当前Deployment打个快照也就是kubectl rollout history deployment/xxx并记录当前版本号。上线后一旦发现问题kubectl rollout undo deployment/xxx --to-revision版本号能在一分钟内回到上一版。这个习惯比任何监控告警都管用是真正的“后悔药”。最后再分享一个小经验Pod相关的配置能用Deployment管就不要用裸Pod探针三个都要配别偷懒ConfigMap挂载方式和热更新策略提前定好资源的requests不能写太低limits不能拍脑袋。把这些基础机制吃透比追任何新特性都实在。后续你还可以沿着这个方向去深入StatefulSet的存储编排、HPA的弹性策略、以及Pod拓扑分布约束topologySpreadConstraints但那些都是建立在Pod本身理解扎实的基础上。
直接绕过概念科普说点进阶的。做Kubernetes时间长了你会发现一个很有意思的现象很多人天天用Deployment、天天写YAML但对Pod本身的理解其实一直停在“一个Pod里面跑一个容器”这个层面。等真到生产环境遇到Pod一直Pending、容器疯狂重启、配置死活不生效、滚动更新把服务搞挂这些场景才会意识到Pod的机制压根没吃透。这篇文章就围绕Pod进阶这条主线把Pod的共享网络原理、生命周期与探针、配置挂载方式、Deployment下的部署策略以及我在实际企业应用包括SAP和相关重量级业务系统Pod化过程中沉淀下来的经验一次性讲清楚。1. 先厘清一个基本问题Pod到底是什么为什么绕不开它1.1 容器是“云上的进程”Pod是给进程分组的“进程组”很多人把Pod理解成“运行容器的地方”这个说法不算错但会让你漏掉很多关键行为。更准确的说法是Pod是Kubernetes里最小的调度和资源分配单元是一个或多个容器的组合。容器本身只是一个被隔离的进程而Pod是这个进程组的外壳负责把这些进程绑定在同一台节点上共享同一套资源视图。你可以把Pod类比成一台“逻辑主机”里面的容器就像这台主机上跑的多个进程。现实中你不会动不动给每台机器只部署一个进程同样地某些场景下你也不该让每个容器都单独成为一个Pod。哪些场景适合多个容器放同一个Pod典型的是主容器加Sidecar模式主容器跑业务逻辑Sidecar容器负责日志采集、流量转发、指标暴露这种辅助功能。两个容器必须同生共死、共享网络这种强绑定关系用Pod来表示最合适。进阶的第一步就是转变视角不要只把Pod当容器列表而要把它当作一个有自己生命周期的逻辑实体。调度、重启、伸缩、网络分配全都是以Pod为单位发生的。这也是为什么Pod进阶必须从“Pod是进程组”这个认知开始。1.2 pause容器与共享网络Pod里所有容器通过localhost互访有个机制很多人用了很久都不知道每个Pod在启动主容器之前kubelet会先启动一个pause容器也叫沙盒容器。这个pause容器极其轻量几乎什么都不干它的作用只有一个——持有整个Pod的Network Namespace网络命名空间。主容器启动时不会创建自己的网络命名空间而是“加入”pause容器的网络命名空间。这就带来了一个非常重要的结论同一个Pod内的所有容器共享同一个IP地址共享同一个端口空间所以容器之间不能占用相同的端口通过localhost127.0.0.1就能互相访问不需要走Service。我见过不少刚从虚拟机迁移过来的同学习惯性地把两个服务部署到同一个Pod里结果端口冲突后启动的容器直接起不来。这就是没理解共享端口空间的后果。共享网络命名空间也意味着你在Pod内随便哪个容器执行ip addr看到的网络栈都是一样的。再说一个细节DNS解析。同一个Pod里的容器共享DNS配置所以Pod内的容器可以通过service-name访问集群里的其他服务但Pod内部容器之间直接互相访问用localhost就够了不要绕道走Service。这个习惯能让请求链路的延迟和故障复杂度都低很多。1.3 Pod不是终身绑定Deployment托管下的Pod是一个“可丢弃”的实例进阶的另一个重要认知是Pod不是宠物是牲口尤其在Deployment托管下。Deployment管理的Pod有唯一的Pod模板Pod TemplatePod本身有名字通常是deployment-name-replicaset-hash-pod-random-id但这个Pod一旦被删除、驱逐、替换新Pod的IP会变、名字会变唯一不变的是Pod模板和它携带的标签。这意味着把你的应用设计成“无状态、可重建”是Pod化的基本前提。别在Pod本地磁盘里存业务数据别缓存会话状态在Pod内存里除非你能容忍丢失别把任何Pod的IP写死到配置里。生产环境里那些“服务突然挂了重启好了但IP变了导致别的服务连不上”的故障基本都是没想明白这一条。为什么强调这一点因为它直接影响你怎么用Deployment、怎么理解滚动更新。滚动更新本质上就是“先起新的Pod再杀掉旧的Pod”如果应用有状态、不能接受同时存在新旧两个版本那你在Deployment里就处理不了得考虑StatefulSet或者额外的分布式锁。Pod进阶本质上就是学会判断“什么状态该放Pod里什么状态不该放Pod里”。2. Pod生命周期与探针机制把“活没活着”这件事讲清楚2.1 Pod的相位Phase与真实世界之间的差距kubectl get pod看到的STATUS列其实是PodPhase的简写映射。PodPhase有五个值Pending、Running、Succeeded、Failed、Unknown。Pending表示Pod已被API Server接受但还没完成调度或者镜像还在拉取Running表示Pod已经绑定到节点并且所有容器都已创建成功至少有一个容器处于运行或启动状态。新手最容易踩的坑就是Running不代表你的应用真能处理请求。Kubernetes判断Pod活着的默认依据是“容器进程还在”进程在并不等于业务可用。你把Java服务跑起来了但可能正在Full GC、连接池被耗尽、端口根本没监听成功这些情况进程都还活着。要解决这个问题必须引入探针Probe让Kubernetes用业务视角去判断Pod的健康状况。另一个容易误解的概念是restartPolicy。Pod的重启策略有三种Always、OnFailure、Never。注意这个策略是Pod级别的作用于Pod里所有容器。在Deployment下Pod模板里的restartPolicy只能配Always——这很正常因为Deployment就是用来保证Pod始终运行指定数量的副本。理解了这一点就不会问“为什么我这个Pod的restartPolicy改成Never不生效”这种问题了。2.2 三种探针的分工与合作别再用livenessProbe干readiness的活Kubernetes提供三种探针startupProbe启动探针、livenessProbe存活探针、readinessProbe就绪探针。很多人只用一个livenessProbe甚至把所有检查都写成curl /healthz这是生产事故的高发源头。三个探针的正确分工是startupProbe判断容器内的应用是否启动完成。这个探针一旦成功一次就不再执行。它的核心作用是保护慢启动的应用避免livenessProbe过早介入。livenessProbe周期性检查应用是否还活着。如果失败kubelet会杀掉容器并按restartPolicy重启。它适合做“死锁检测、致命错误检测”。readinessProbe周期性检查应用是否就绪。失败时kubelet不会杀掉容器而是把Pod从Service的Endpoints里摘掉流量不再打进来。它适合做“依赖是否可用、负载是否过高等检查”。我踩过一个很典型的坑给一个启动需要40秒的应用只配了livenessProbeinitialDelaySeconds设成10秒。结果livenessProbe在应用还没起来的时候就开始探测连续失败kubelet认为容器已死不断重启形成一个“永远启动不完”的死循环。后来加了startupProbe设置failureThreshold: 30、periodSeconds: 5给应用留了最多150秒的启动时间就好了。还有一个容易忽略的细节readinessProbe失败会从Service摘除但如果你的Service的externalTrafficPolicy配的是Local流量只会转发到本节点上就绪的Pod。此时如果所有Pod都未就绪请求会被拒掉connection refused而不是转发到别的节点。这种“局部不可用”的排查如果没有把探针机制理解透会非常费劲。2.3 init容器正式任务前的“准备车间”init容器初始化容器是Pod里的特殊容器在Pod的主容器启动之前必须全部成功结束。如果其中任何一个init容器失败Kubernetes会重启整个Pod。init容器按顺序执行前一个成功后下一个才开始。我推荐在下面这些场景里使用init容器理由很充分等待依赖服务就绪比如主容器启动前需要数据库可用你不希望在应用层做复杂重试可以写一个简单脚本在init容器里轮询连接。数据初始化与迁移启动时执行数据库脚本把迁移逻辑从应用进程里剥离出来。SAP类企业应用迁移到K8s时我见过很多团队用init容器做系统配置初始化和前序数据加载。文件权限与目录准备主容器以只读方式挂载卷前init容器先创建目录、调整属主。init容器和主容器的区别要记住init容器不支持readinessProbe和livenessProbe它只有“成功结束”或“失败重启”两种状态。另外init容器的资源计算是单独累加的requests和limits会加总所有init容器中的最大值参与调度计算这个细节后面讲资源时再展开。2.4 PostStart/PreStop与优雅停机别让滚动更新变成滚动事故Pod支持两个生命周期钩子postStart容器创建后立即执行和preStop容器终止前执行。postStart里执行的命令不保证在容器的ENTRYPOINT之前或之后你无法只靠它来确保顺序所以不要在里面硬写严格依赖。preStop的价值就大多了它是实现优雅停机的关键。默认情况下Pod被删除时会向主容器发送SIGTERM信号然后等待terminationGracePeriodSeconds默认30秒超时后直接SIGKILL。对很多现代应用来说收到SIGTERM后自动做优雅停机注销服务发现、排空连接、保存状态就够了。但如果你连接的是老式应用或者应用对SIGTERM处理得不好就要靠preStop来做兜底spec: containers: - name: app lifecycle: preStop: exec: command: [/bin/sh, -c, sleep 5]这个sleep 5的动作看似莫名其妙其实背后有讲究Deployment滚动更新时旧Pod收到SIGTERM前控制平面已经把它从Endpoints摘掉了但上游负载均衡器、网关可能还有存量连接。preStop睡眠几秒给这些连接一个感知和排空的时间窗口相关的Service不再把新流量转发过来存量请求也能被处理完。我在生产环境里建议的顺序是先配置preStop的sleep时间依据上游排空耗时定一般5~10秒再在应用里实现SIGTERM处理最后把terminationGracePeriodSeconds适当调大。没有这套组合拳滚动更新期间出现5xx错误是很常见的事。3. 部署与配置Deployment ConfigMap 组合拳3.1 Deployment到底是怎么“管”Pod的Deployment本身不直接管理Pod它管理的是ReplicaSetReplicaSet管理Pod。这个委托链条非常关键每次Deployment的Pod模板发生变化镜像版本、环境变量、资源配额等都会生成一个新的ReplicaSet新ReplicaSet负责扩容旧ReplicaSet负责缩容直到滚动更新完成。理解了这条链你就能看明白两个现象。第一个现象是kubectl rollout restart deployment/xxx为什么能触发滚动更新它没有修改镜像而是给Pod模板加了一个annotations标记kubectl.kubernetes.io/restartedAt模板变了新ReplicaSet自然产生。第二个现象是为什么你不应该直接去kubectl delete pod来尝试“刷新”Pod——删除Pod后确实会被ReplicaSet拉起新Pod但新Pod的配置还是旧的如果你改了ConfigMap但没改Deployment模板刷新十次也没用。企业应用上线时我强烈建议通过Deployment管理Pod而不是直接创建裸Pod或ReplicationController。理由很简单Deployment天然附带版本记录kubectl rollout history、回滚能力kubectl rollout undo、滚动更新控制maxSurge/maxUnavailable、以及暂停/恢复发布的能力。裸Pod是“无主”的删除后没人帮你拉起。3.2 滚动更新参数maxSurge和maxUnavailable别再拍脑袋配了spec.strategy.rollingUpdate有两个参数maxSurge最多超出期望副本数的Pod数量和maxUnavailable最多允许不可用的Pod数量。它们的默认值都是25%这个默认值对大多数场景是保守且安全的但到了追求稳定的企业环境你得自己算。举个例子你有10个副本maxUnavailable: 0表示更新期间不能有任何Pod不可用maxSurge: 1表示最多允许瞬时多出1个Pod。那么整个滚动更新的节奏就是先启动1个新Pod等它Ready后杀掉1个旧Pod再启动1个新Pod……直到全部替换。这个策略最稳发布窗口内容量始终保持“期望副本数 1”。如果服务能接受少量不可用可以把maxUnavailable调到1或2发布速度会明显加快。但不能把maxUnavailable设得太大比如50%否则滚动更新刚开始大量旧Pod被下线流量直接打到剩下的Pod上容量被打爆。我看过不止一起“更新发布了服务反而雪崩”的事故根因基本都是参数配置太激进。滚动更新还有一个关键关联对象minReadySeconds。它控制新Pod在没有稳定运行超过指定时间之前不算“可用”。设置minReadySeconds: 30能有效避免“新Pod一Ready就被放流量结果30秒后崩溃”这种发布假成功的情况。它和readinessProbe配合一个负责“业务是否就绪”一个负责“就绪后是否稳定”。3.3 ConfigMap两种挂载方式差异巨大ConfigMap是Kubernetes里把配置从镜像中解耦的标准方式但在实际使用中“配置不生效”的问题十有八九出在挂载方式没理解上。方式一是环境变量注入spec: containers: - name: app envFrom: - configMapRef: name: app-config方式二是卷挂载spec: containers: - name: app volumeMounts: - name: config-volume mountPath: /etc/config volumes: - name: config-volume configMap: name: app-config这两者的核心差异在于环境变量是容器启动时一次性注入的运行时修改ConfigMap不会影响已经在运行的容器而卷挂载方式下ConfigMap的内容会通过kubelet同步到Pod内的挂载目录应用只要监听文件变化就能热加载配置。更新ConfigMap后使用卷挂载的Pod内文件大约在1分钟内取决于kubelet同步周期默认是--sync-frequency通常为1分钟更新。但要注意一个坑如果你用subPath挂载ConfigMap里的单个文件那么这个文件不会热更新因为subPath挂载的是一个“文件引用”kubelet不会主动刷新它。需要热更新的场景请直接挂载整个目录或者挂载目录后再用软链接的方式把单个文件指过去。还有一个小技巧如果应用天生不支持热加载你可以通过“改名重新部署”的策略实现配置更新。具体做法是每次修改ConfigMap时给它生成一个新名字比如带上版本号app-config-v2然后更新Deployment里的引用触发一次滚动更新。这样虽然还是要重启Pod但好处是你随时可以通过kubectl rollout undo回滚到旧配置因为旧名字的ConfigMap还在。3.4 时区、密钥和configMap的“不可变”选项企业应用尤其是SAP这类对时间敏感的业务系统上容器后的一个高频问题是时区不一致。基础镜像很多默认是UTC时区而业务日志、批处理任务、报表统计都依赖本地时区。两个办法在Dockerfile里设置ENV TZAsia/Shanghai并安装tzdata包在Pod里挂载宿主机的/etc/localtime但不推荐因为不同节点的时区文件未必一致。更干净的做法是通过configMap挂载一个时区文件预先把/usr/share/zoneinfo/Asia/Shanghai的内容放进ConfigMap然后挂载到容器内的/etc/localtime。这种方式的好处是配置跟随集群走不依赖宿主机也不会因为节点重建导致时区漂移。ConfigMap进阶还有两个细节。第一immutable: true标记为不可变后ConfigMap就不允许被修改只能删除重建。这是生产环境防止“配置被顺手改乱”的有效手段代价是更新配置必须新建对象并重新滚动。第二ConfigMap有大小限制底层etcd默认是1MiB的请求限制单条内容超大数据比如几百K的配置文件就别硬塞ConfigMap了用独立的Volume或者对象存储更合理。4. 企业应用Pod化的经验沉淀从SAP类重量级应用说起4.1 有状态会话与Pod你能把什么放进Pod不能把什么放进PodSAP这类企业应用Pod化是一个很有意思的话题。这类系统往往有很重的状态依赖用户会话、共享内存、应用级文件锁、批处理作业状态。把这些系统直接扔进Deployment里滚动更新大概率会遇到问题。先说会话粘滞Session Affinity。老式应用把会话状态放在本机内存里如果滚动更新时Pod被杀死用户会话就丢了。即便你在Service上开了sessionAffinity: ClientIP也只是把同一个客户端IP的请求固定到同一个Pod上滚动更新换Pod时照样失效。解决方案不外乎三种把会话外置Redis、数据库应用变得无状态用StatefulSet保证稳定的网络标识Pod名和DNS但还是解决不了会话丢失用Pod的preStop钩子做会话排空滚动更新时先让旧Pod把存量会话处理完再退出。我最推荐的方向是第一种但这属于应用改造短期做不到的话至少要把preStop和优雅停机做好把单次发布造成的会话影响压到最小。这比天天祈祷Pod“别被调度走”靠谱多了。StatefulSet和Deployment的选择也是一道经典题。如果你确实需要稳定的存储、稳定的网络标识、且要求Pod按顺序启停比如数据库、ZooKeeper、Elasticsearch那就用StatefulSet不要为了“统一用Deployment”而牺牲正确性。但注意SAP这类业务应用本身不是分布式存储系统大多数时候真正需要稳定状态的是它们的数据库和消息中间件应用层还是尽量保持无状态。4.2 资源请求与限制QoS等级怎么选资源管理是Pod进阶绕不开的硬骨头。requests是调度依据limits是运行限制。CPU的limit是可压缩的超过limit只是被限流throttling不会杀死容器内存的limit是不可压缩的超过limit会触发OOMKilledkubelet直接杀容器。Kubernetes根据requests和limits的配置情况把Pod分为三个QoS等级QoS等级配置条件风险Guaranteed所有容器都设置了CPU和内存的requestslimits最优先保障几乎不会被驱逐Burstable至少有一个容器设置了requests或limits但不满足Guaranteed资源充裕时稳定节点压力大时可能被驱逐BestEffort所有容器都没设置requests和limits节点内存不足时第一个被驱逐生产环境我给企业应用的建议核心业务Pod至少配成Burstable甚至Guaranteed。在实际配置时我会先压测拿到应用的基准资源曲线再把requests设为基准值的80%limits设为峰值的1.5~2倍。这里千万别犯一个常见错误limits拉满但requests设置得很低。这样做虽然调度容易但节点超卖严重关键时刻整个节点的Pod一起被驱逐比单个Pod被杀更痛。还有一个容易坑到人的地方requests和limits如果只写了CPU没写内存或者只写了内存没写CPUKubernetes不会自动补全Pod的QoS等级会按已有配置计算。很多踩坑事故就是“明明加了limits为什么还是被驱逐”——因为你的Pod是Burstable不是Guaranteed。4.3 稳定性的踩坑清单企业应用Pod化后的典型问题企业应用Pod化上线后最折磨人的不是功能不跑而是偶发的不稳定。我把常见的坑整理一下镜像启动脚本里写daemonize让进程后台化。容器生命周期绑定的是前台进程你一旦让进程后台运行容器PID 1直接退出Pod被判定为失败并无限重启。任何应用进Pod前都必须以非daemon方式启动。日志写文件不写stdout。kubectl logs只能看到容器标准输出日志写到文件里就意味着排障时你得先kubectl exec进去看不仅麻烦Pod一删日志全没。企业应用进入K8s的第一周就应该把日志统一打到stdout由Sidecar或节点日志组件采集。依赖外网地址但网络策略没放开。Pod访问外部IP需要节点能路由或者配置Egress。很多应用在物理机上好好的一上Pod就各种超时先查网络策略和NAT别一上来就怀疑代码。文件权限问题。Pod里的容器默认用镜像里的用户运行企业应用经常需要写共享存储NFS、CephFS如果存储导出的目录属主是别的UIDPod里的进程没权限写。这事用init容器处理目录属主比修改应用镜像更通用。5. 常见问题排查实录从现象反推原理5.1 Pod一直Pending卡在哪里Pending表示Pod还没成功调度到节点上。排查思路按顺序来kubectl describe pod pod-name看Events里的告警。常见的几类0/5 nodes are available: insufficient cpu资源不足。加节点或调低requests。node(s) had untolerated taint节点有污点Pod没有对应容忍。要么给Pod加tolerations要么清楚为什么这个节点被打了污点。persistentvolumeclaim not found挂载的PVC不存在或没法绑定。检查StorageClass和PV状态。前面提过的“调度计算还要算init容器的资源”如果一个Pod的init容器requests很高主容器requests很低调度器按init容器的高值来预留资源。所以你会发现“Pod看起来只需要0.5核却调度不上去”很可能是init容器要2核。5.2 CrashLoopBackOff与OOMKilledCrashLoopBackOff表示容器启动后立刻崩溃kubelet按指数退避策略不断重启。核心排查命令是kubectl logs pod-name --previous加--previous看上一次容器的日志很重要因为当前容器已经崩了默认logs可能什么都拿不到。如果是OOMKilled用kubectl describe pod看最后一个State的Reason直接能看到“OOMKilled”字样。对策有两步先确认代码有没有真泄漏重启能不能解决再决定调大limit还是优化内存。只调limit不查泄漏就是把系统当止痛药用。还有一个偶发Crash的原因是startupProbe配太严应用启动慢startup探针失败次数过多容器被杀。遇到“日志显示进程刚起来就被杀”优先检查探针配置而不是怀疑代码。5.3 端口冲突与服务发现Pod共享网络命名空间导致同一Pod内的容器端口不能冲突。如果两个容器都监听8080后者会启动失败。排查时先kubectl exec进Pod执行ss -tlnp看监听情况。跨Pod访问的端口冲突则是另一个问题两个不同Pod监听了同端口没关系它们有不同的IP。但如果你在Service里选择了多个Pod而这些Pod里都用同一个端口跑不同服务那Service的targetPort就乱了。牢记Service的targetPort要显式声明成Pod里实际监听的端口不要靠默认值去猜。DNS解析问题也很常见。Pod访问Service时解析失败先看/etc/resolv.conf里的nameserver是否正确再看Service的selector是否匹配上了Pod的标签——用kubectl get endpoints service-name确认Endpoints里有IP。没有IP基本就是标签选择器写错了这个坑我见得太多了特别是用了matchExpressions之后。5.4 排查用的命令速查与操作心得日常排查我固定用下面这套组合拳kubectl get pod -o wide kubectl describe pod pod-name kubectl logs pod-name --previous kubectl exec -it pod-name -- /bin/sh kubectl get events --sort-by.lastTimestampkubectl get events经常被忽略其实它比describe能看到的全局时序更完整尤其是节点级别的资源压力、驱逐警告、镜像拉取问题描述信息里未必一条条都列全。再多说一个实操体会变更Pod前一定要先给当前Deployment打个快照也就是kubectl rollout history deployment/xxx并记录当前版本号。上线后一旦发现问题kubectl rollout undo deployment/xxx --to-revision版本号能在一分钟内回到上一版。这个习惯比任何监控告警都管用是真正的“后悔药”。最后再分享一个小经验Pod相关的配置能用Deployment管就不要用裸Pod探针三个都要配别偷懒ConfigMap挂载方式和热更新策略提前定好资源的requests不能写太低limits不能拍脑袋。把这些基础机制吃透比追任何新特性都实在。后续你还可以沿着这个方向去深入StatefulSet的存储编排、HPA的弹性策略、以及Pod拓扑分布约束topologySpreadConstraints但那些都是建立在Pod本身理解扎实的基础上。
