这个标题我太熟了。有段时间我负责的Java服务一到业务高峰期netstat一查就是几万个TIME_WAIT状态端口被占满新连接报address already in use那个焦头烂额的感觉现在还记得。后来翻内核文档、看TCP协议栈实现、调应用配置才慢慢把这块彻底啃下来。今天就用一篇开发日记的体量把TIME_WAIT这件事从原理到排查再到治理全部梳理一遍希望对同样踩坑的Java开发有点用。先说明一下适合谁看主要面向Java后端开发尤其是写HTTP接口、接入层服务、基于Netty或Tomcat做网络通信的同学。如果你面试被问过“为什么要有TIME_WAIT”或者线上遇到过“TIME_WAIT过多导致服务不可用”那这篇文章就是为你准备的。1. TIME_WAIT到底是什么为什么它必须存在1.1 TCP四次挥手里的TIME_WAIT先说基础。TCP三次握手建立连接四次挥手断开连接。断开过程的四个报文段是这样的方向报文状态变化主动关闭方 A → 被动关闭方 BFINA进入FIN_WAIT_1B → AACKA进入FIN_WAIT_2B进入CLOSE_WAITB → AFINA进入TIME_WAITB进入LAST_ACKA → BACKA继续停留在TIME_WAITB进入CLOSED从表格里能看到主动关闭方在发送完最后一个ACK之后并不直接进入CLOSED而是进入TIME_WAIT并在这个状态停留2MSLMaximum Segment Lifetime最大报文段生存时间时长。Linux下MSL默认是30秒所以TIME_WAIT通常持续60秒。很多新手不理解四次挥手都完成了最后一发ACK对方也收到了或者说对方收到了才关闭为什么还要在TIME_WAIT里等60秒直接关掉不行吗1.2 TIME_WAIT的两个核心作用少一个都不行第一个作用是保证最后一个ACK能可靠送达。最后一个ACK有可能在网络中丢失如果主动关闭方直接进入CLOSED那么被动关闭方迟迟等不到ACK就会重发FIN。这时候主动关闭方已经彻底关闭收到FIN后只能回一个RST被动关闭方就会把它当作异常处理数据可能丢失。而有了TIME_WAIT在2MSL内收到重传的FIN可以重新发送ACK确保双方都正常关闭。你可以把它类比成挂电话你说“我先挂了”对方说“好的”你回应一声“嗯”之后并没有立刻扔掉话筒而是再听一两秒。万一对方没听清你的“嗯”会重新说“我挂了啊”你还能再补一句“收到”。如果你说完“嗯”立刻挂断对方再问的时候你这边已经是忙音了。第二个作用是让旧连接的报文在网络中自然消亡。TCP报文在网络里有自己的生命周期最长不超过MSL。假设一个连接的报文在网络上滞留了很久之后这个五元组源IP、源端口、目的IP、目的端口被复用建立新连接滞留的旧报文可能会被新连接收到导致数据错乱。TIME_WAIT让连接在被动关闭方发送FIN后继续等待2MSL保证网络里属于旧连接的报文全部消失这样才能安全复用连接。这两个作用缺一不可一个解决可靠关闭一个解决报文串扰。这也是TCP协议设计者反复权衡之后的选择你没法通过简单粗暴关掉TIME_WAIT来回避问题只能理解它、适应它、优化它。2. 服务端TIME_WAIT过多的原因拆解2.1 先记死一条规则谁主动关闭谁进TIME_WAIT排查TIME_WAIT问题脑子里必须刻着这条规则TIME_WAIT只会出现在主动发起关闭的一端。四次挥手是主动关闭方先发FIN所以最后停留在TIME_WAIT的只可能是主动关闭方。很多人的误区是“服务端TIME_WAIT多一定是客户端的问题”这个想法要纠正。服务端TIME_WAIT多恰恰说明服务端自己在大量主动关闭连接跟客户端没有必然关系。服务端一旦主动发起关闭就会为每条连接承担TIME_WAIT代价。2.2 为什么服务端会变成“主动关闭方”服务端的主动关闭通常有这么几个来源。一是HTTP短连接场景。客户端发一次请求服务端处理完响应里带Connection: close头然后服务端主动关闭TCP连接。这种情况下服务端就成了主动关闭方TIME_WAIT自然堆在服务端。Java里如果用最原生的HttpServer或者某些配置不当的Servlet容器很容易出现这种一请求一断连的行为。二是连接池管理不当。比如服务端作为调用方通过HttpClient或数据库连接池对外发起连接。连接池的策略如果是“空闲超过N秒就回收”或者“连接用完立即关闭”那在低峰期连接池会频繁建连和断连。如果回收时连接池主动调用了closeTIME_WAIT就落在了服务端进程上。三是负载均衡和健康检查机制。Nginx、云负载均衡、K8s探针都会定期去探测后端服务健康状态。这些探测往往是一建连、一请求、一关闭的短连接。如果探测过于频繁或者后端响应头里没有开启keep-alive负载均衡和后端之间会积累大量TIME_WAIT。尤其是K8s的livenessProbe和readinessProbe如果配置成每次探测都新建连接在Pod副本很多、节点很多的情况下TIME_WAIT量会非常可观。2.3 Java服务端最典型的两个TIME_WAIT现场结合Java生态下面这两个场景你们多半遇到过。第一个是基于Spring Boot内置Tomcat的服务。Tomcat默认开启keep-alive也就是客户端可以复用同一TCP连接发多个请求只要配置了相同的Keep-Alive头。但如果业务代码在响应里手动加了Connection: close或者客户端本身不支持keep-alive、发完请求就关闭那么服务端处理完请求后就会主动关闭连接。一旦某个调用方比如内部其他系统使用短连接频繁调用你的Java服务你这边就会堆积大量TIME_WAIT。第二个是使用HttpURLConnection的老代码。JDK原生的HttpURLConnection在默认情况下可能只在同一个hostname下缓存少量连接并且如果代码没有正确读取响应流就调用disconnect()连接会立即关闭。很多老项目迁移到新框架时遗留代码还在用这种模式逐个请求、逐个关闭到网关或上游服务看TIME_WAIT就是这些客户端堆起来的。这里的核心判断标准只有一个你的服务是主动断开的一方就会承担TIME_WAIT。3. 排查怎么确认自己的服务TIME_WAIT偏多3.1 两条命令快速摸清连接状态分布排查TIME_WAIT本身不复杂Linux下两条命令就够了。# 统计处于TIME_WAIT状态的连接数 netstat -nat | awk {print $6} | sort | uniq -c | sort -rn # 指定端口下的TIME_WAIT数量 netstat -nat | grep :8080 | grep TIME_WAIT | wc -l更推荐用ss命令因为它直接读取内核socket相关信息速度更快高并发下不会因为执行命令本身给系统带来额外压力。ss -tan | awk {print $1} | sort | uniq -c | sort -rn # 只看某个端口的连接状态 ss -tan | grep :8080 | grep TIME_WAIT通过这两条命令你能看到系统整体以及指定端口下的TIME_WAIT数量。如果单台机器上TIME_WAIT超过两三万同时有新连接报地址被占用Address already in use那就要进入下一步分析了。3.2 从TCP视角看连接生命周期光知道数量还不够得确认TIME_WAIT是从哪条链路来的。方法很简单用ss带详细信息看对端地址和端口。# 查看TIME_WAIT连接的详细对端信息 ss -tanp state time-wait | head -50重点观察对端IP和端口。如果对端IP集中在某个客户端网段那可能是客户端连接池配置问题如果对端IP是负载均衡器或K8s探针的IP那就是健康检查/转发策略问题如果对端端口范围分布很广可能是服务对外提供接口时被大量短连接客户端访问。还有一种情况TIME_WAIT较多的连接对端也有不少是随机端口说明是公网或外部系统直接访问你的服务。这种情况下除了调整应用层策略还得考虑在架构上做一层长连接网关或代理避免外部短连接直接打到业务服务。3.3 Java侧能做的观测和辅助判断在Java进程内部你可以进一步确认连接是否为长期未关闭。用jstack看线程堆栈如果发现大量线程阻塞在socket连接关闭或建连操作上同时系统TIME_WAIT数量高基本可以确定是短连接调度太频繁。更直接的办法是打开/proc/net/socket或通过lsof列出进程持有的TCP连接但这类命令在连接数很大的情况下会消耗CPU生产环境要谨慎。我通常的建议是先用ss做宏观分析再用jstack拍线程快照做微观判断两层对照基本就能锁定方向。这里有个小经验TIME_WAIT过多时别急着调内核参数。先花半小时把连接的对端IP分布和业务峰值时间对照一下往往能直接找到是哪个上游在产生短连接比盲目调参数高效得多。4. 治理方案从内核参数到应用层再到架构4.1 内核参数调整先懂原理再动手网上搜TIME_WAIT优化搜出来基本就是三件套tcp_tw_reuse、tcp_tw_recycle、tcp_fin_timeout。但很多教程说得不清不楚导致不少人抄作业调出问题。我一个个讲清楚。net.ipv4.tcp_tw_reuse。这个参数的作用在发起新连接时如果有TIME_WAIT状态的连接满足条件对端IP、端口一样且新连接的时间戳比TIME_WAIT连接的时间戳大内核可以直接复用这个TIME_WAIT连接的四元组而不是等待2MSL结束。注意关键字“发起新连接时”和“满足时间戳条件”。也就是说tcp_tw_reuse主要对客户端主动调用connect的一端有效。服务端接收连接时TIME_WAIT连接的复用逻辑属于另一个范畴tcp_tw_reuse对服务端堆积TIME_WAIT基本没有帮助。所以如果你的服务是作为被调用方堆积TIME_WAIT调这个参数效果不大。它更适合解决Java服务作为上游调用方、频繁向第三方发短连接导致的TIME_WAIT问题。net.ipv4.tcp_tw_recycle。这个参数曾经被很多人用来快速回收TIME_WAIT连接但它有个致命缺陷它开启后会基于IP时间戳逻辑来处理对端连接的“新”和“旧”在一台服务器后面有多台客户端机器NAT环境时会把不同机器的TCP时间戳判为乱序导致正常的建连请求被拒绝表现为“客户端偶尔连不上服务端一会儿好一会儿坏”。这个坑在云上和移动网络下特别明显。而且Linux 4.12内核已经正式移除了tcp_tw_recycle支持所以老文章里的这个参数到今天已经没有任何意义。看到这里还在教人开启tcp_tw_recycle的文章可以直接关掉。net.ipv4.tcp_fin_timeout。这个参数控制的是FIN_WAIT_2状态被动方此时还在CLOSE_WAIT的超时时间默认60秒。如果对端一直不发送FIN主动关闭方停留在FIN_WAIT_2的时间过长。适当调低到30秒左右可以加快连接释放但它并不直接减少TIME_WAIT数量因为TIME_WAIT是FIN_WAIT_2之后的阶段。net.ipv4.tcp_max_tw_buckets。这个参数是限制系统内TIME_WAIT连接的最大数量。超过这个值内核会尽快清除多余的TIME_WAIT连接同时可以在dmesg里看到“TCP: time wait bucket table overflow”的日志。这个参数可以用但要注意单纯调大或者调小都是治标不治本。调大只是让系统能容纳更多TIME_WAIT端口照样可能被占用调小会迅速回收TIME_WAIT但会牺牲刚才说的两个核心保障可能出现连接异常。安全提示内核对TIME_WAIT的这套设计是为了保证TCP可靠性和数据一致性调整相关参数前先确认你真的理解了每个参数的生效场景不要在没分析清楚根因的情况下把参数一顿乱调。4.2 应用层优化把连接池和keep-alive用对Java应用层的优化很多时候比调内核参数更有效、更安全。核心思路就一句话减少不必要的主动关闭。先说对外调用方的优化。假如你的Java服务通过HTTP调用另一个服务最忌讳的做法是每次请求都新建连接、用完就关。正确的解法是使用带连接池的HTTP客户端比如Apache HttpClient、OkHttp或者Spring的RestTemplate配上连接池管理器。用Apache HttpClient举例连接池配置的关键参数是这样的PoolingHttpClientConnectionManager manager new PoolingHttpClientConnectionManager(); // 最大连接数 manager.setMaxTotal(500); // 每个路由host:port最大连接数 manager.setMaxPerRoute(200); // 空闲连接存活时间 manager.setValidateAfterInactivity(3000); HttpClient client HttpClients.custom() .setConnectionManager(manager) .setKeepAliveStrategy((response, context) - 30 * 1000L) .build();这段配置的意义是连接池里最多保留500条连接每个目标服务最多200条空闲3秒后仍可复用空闲策略设置keep-alive时间为30秒。这样即使业务QPS很高TCP连接数也只会在池子里稳定使用不会频繁建连和断连。如果用的是OkHttp也有类似的配置OkHttpClient client new OkHttpClient.Builder() .connectionPool(new ConnectionPool(200, 30, TimeUnit.SECONDS)) .build();再说被调用方的优化。服务端要减少主动关闭核心是配合客户端的keep-alive。比如Spring Boot内置Tomcat可以调整这两个参数server.tomcat.keep-alive-timeout60s server.tomcat.max-keep-alive-requests1000这里的意思是当客户端声明支持keep-alive时服务端在60秒内复用同一连接响应多次请求最多处理1000个请求后再关闭。这在大量客户端连接复用的场景下能显著降低服务端的TIME_WAIT数量。但要注意一个反向场景如果客户端数量非常大比如几万台IoT设备且每个客户端建连后只发一两条数据保持keep-alive反而会让服务端维护大量CLOSE_WAIT或空闲连接。这种情况下及时关闭连接、承担TIME_WAIT反而是更合理的选择。所以不要一刀切地追求“开keep-alive”或“关keep-alive”要看你的连接模型。4.3 架构层面引入长连接和代理层当应用层优化已经到位但短连接仍然不可避免比如客户端就是外部公网用户他们用到的HTTP库可能不支持连接复用这时候就得在架构上做文章。常见的做法是在业务服务前面加一层负载均衡或代理由代理层终结外部短连接再通过长连接向后端转发。Nginx到后端Tomcat可以开启upstream keepaliveupstream backend { server 10.0.0.1:8080; keepalive 64; } server { listen 80; location / { proxy_pass http://backend; proxy_http_version 1.1; proxy_set_header Connection ; } }这里的核心点是proxy_set_header Connection 清空Connection头强制Nginx与后端之间复用keep-alive连接。这样外部客户端的短连接都终结在Nginx后端看到的是稳定的长连接流量TIME_WAIT自然从后端转移到Nginx。如果Nginx压力可以承受这个转移是划算的因为Nginx本身擅长处理海量并发连接并且处于架构的边缘TIME_WAIT不会影响核心业务。云上环境也是一样的思路。负载均衡SLB挂在业务服务前面后端用健康检查长连接模式业务服务只维护少量活跃连接。对于Java服务内部如果引入了RPC框架比如Dubbo、gRPC它们天然基于长连接一般不会出现TIME_WAIT堆积问题。真正需要操心的是HTTP入口、HTTP调用和数据库/缓存连接池这三大块。5. 避坑指南与常见问题速查表把我在实际排查中经常遇到的几个问题整理成一张表方便大家对照处理。常见现象可能原因优先处理动作服务端TIME_WAIT数量高达几万上游客户端短连接频繁调用服务端主动关闭了连接检查响应是否带Connection: close推动上游开启连接复用服务端端口耗尽报Address already in useTIME_WAIT占用大量临时端口新连接无法分配端口调大net.ipv4.ip_local_port_range同时优化连接复用服务发起对外HTTPS/HTTP调用自身TIME_WAIT多主调方连接池配置过小连接频繁回收配置HttpClient连接池增大maxPerRoute数据库连接池频繁断连伴随TIME_WAIT连接池空闲回收时间设置过短调大空闲连接超时时间或把minIdle调高K8s部署服务IP频繁变化出现大量TIME_WAIT探针短连接被分散在多个Pod的IP上调整探针频率使用长连接探针方案开启tcp_tw_reuse后问题没解决服务端接收连接该参数对主动发起connect的场景更有效确认自身是主调方还是被调方不要盲目依赖该参数某次调整tcp_tw_recycle后出现连接异常NAT环境下的时间戳乱序问题内核4.12之后该参数已移除确认是否在老旧内核上误配再补充几个容易忽略的细节。第一TIME_WAIT本身不是性能指标不用追求“零TIME_WAIT”。只要连接还在正常建立端口没有被占满TIME_WAIT多并不代表服务异常。我见过有人把TIME_WAIT数量当成健康指标一多就紧张。实际上TIME_WAIT多说明服务最近主动关闭了不少连接如果这些连接是正常业务逻辑产生的业务代码和系统都没问题。第二端口范围要提前规划。客户端连接一个服务时本地端口从ip_local_port_range指定的范围内分配。Linux默认范围通常是32768 60999也就是最多大约2.8万个临时端口。如果并发高2.8万个端口很快就会被TIME_WAIT占满。可以适当扩大sysctl -w net.ipv4.ip_local_port_range 1024 65000但要注意扩大端口范围会增加内核维护连接表的开销不能无脑拉大。建议压测评估后按需调整。第三不要小看连接池里那些“看起来没用”的配置。比如validateAfterInactivity、timeBetweenEvictionRunsMillis这些参数在连接池空闲时定期清理不活跃连接。如果清理逻辑写得不对池子里的连接会被提前销毁造成“池子还在连接却断了”的情况最终引发的还是TIME_WAIT和CLOSE_WAIT交替出现。6. 写在最后的一些个人经验做Java后端这几年TIME_WAIT是我遇到的第一个“看似简单深入下去全是细节”的网络问题。它不复杂但牵涉到TCP协议、操作系统内核、应用层连接池、架构设计几个层面的协作。我自己的体会是遇到TIME_WAIT过多先别急着调内核参数先回答三个问题——我这个服务是主动关闭方还是被动关闭方关闭连接的业务动作是正常符合预期还是连接池配置失误导致的如果改成连接复用会不会带来其他副作用比如连接数暴涨、内存占用升高这三个问题想清楚TIME_WAIT问题基本就解决了一半。另外提一句我在项目里做HTTP调用的经验是无论用什么框架一定要把连接池的监控指标埋点接出来比如连接池活跃连接数、空闲连接数、等待获取连接数。这些指标比TIME_WAIT更早反映问题。等TIME_WAIT报警的时候其实连接已经频繁创建和关闭一段时间了。早看到连接池指标就能早一步定位。TIME_WAIT不是洪水猛兽它是TCP协议为了保证可靠性作出的合理设计。理解它然后根据业务场景去适配它比试图绕过它更靠谱。如果你现在正被这个问题困扰按上面的步骤先从连接对端分布查起九成以上能定位到根因。
这个标题我太熟了。有段时间我负责的Java服务一到业务高峰期netstat一查就是几万个TIME_WAIT状态端口被占满新连接报address already in use那个焦头烂额的感觉现在还记得。后来翻内核文档、看TCP协议栈实现、调应用配置才慢慢把这块彻底啃下来。今天就用一篇开发日记的体量把TIME_WAIT这件事从原理到排查再到治理全部梳理一遍希望对同样踩坑的Java开发有点用。先说明一下适合谁看主要面向Java后端开发尤其是写HTTP接口、接入层服务、基于Netty或Tomcat做网络通信的同学。如果你面试被问过“为什么要有TIME_WAIT”或者线上遇到过“TIME_WAIT过多导致服务不可用”那这篇文章就是为你准备的。1. TIME_WAIT到底是什么为什么它必须存在1.1 TCP四次挥手里的TIME_WAIT先说基础。TCP三次握手建立连接四次挥手断开连接。断开过程的四个报文段是这样的方向报文状态变化主动关闭方 A → 被动关闭方 BFINA进入FIN_WAIT_1B → AACKA进入FIN_WAIT_2B进入CLOSE_WAITB → AFINA进入TIME_WAITB进入LAST_ACKA → BACKA继续停留在TIME_WAITB进入CLOSED从表格里能看到主动关闭方在发送完最后一个ACK之后并不直接进入CLOSED而是进入TIME_WAIT并在这个状态停留2MSLMaximum Segment Lifetime最大报文段生存时间时长。Linux下MSL默认是30秒所以TIME_WAIT通常持续60秒。很多新手不理解四次挥手都完成了最后一发ACK对方也收到了或者说对方收到了才关闭为什么还要在TIME_WAIT里等60秒直接关掉不行吗1.2 TIME_WAIT的两个核心作用少一个都不行第一个作用是保证最后一个ACK能可靠送达。最后一个ACK有可能在网络中丢失如果主动关闭方直接进入CLOSED那么被动关闭方迟迟等不到ACK就会重发FIN。这时候主动关闭方已经彻底关闭收到FIN后只能回一个RST被动关闭方就会把它当作异常处理数据可能丢失。而有了TIME_WAIT在2MSL内收到重传的FIN可以重新发送ACK确保双方都正常关闭。你可以把它类比成挂电话你说“我先挂了”对方说“好的”你回应一声“嗯”之后并没有立刻扔掉话筒而是再听一两秒。万一对方没听清你的“嗯”会重新说“我挂了啊”你还能再补一句“收到”。如果你说完“嗯”立刻挂断对方再问的时候你这边已经是忙音了。第二个作用是让旧连接的报文在网络中自然消亡。TCP报文在网络里有自己的生命周期最长不超过MSL。假设一个连接的报文在网络上滞留了很久之后这个五元组源IP、源端口、目的IP、目的端口被复用建立新连接滞留的旧报文可能会被新连接收到导致数据错乱。TIME_WAIT让连接在被动关闭方发送FIN后继续等待2MSL保证网络里属于旧连接的报文全部消失这样才能安全复用连接。这两个作用缺一不可一个解决可靠关闭一个解决报文串扰。这也是TCP协议设计者反复权衡之后的选择你没法通过简单粗暴关掉TIME_WAIT来回避问题只能理解它、适应它、优化它。2. 服务端TIME_WAIT过多的原因拆解2.1 先记死一条规则谁主动关闭谁进TIME_WAIT排查TIME_WAIT问题脑子里必须刻着这条规则TIME_WAIT只会出现在主动发起关闭的一端。四次挥手是主动关闭方先发FIN所以最后停留在TIME_WAIT的只可能是主动关闭方。很多人的误区是“服务端TIME_WAIT多一定是客户端的问题”这个想法要纠正。服务端TIME_WAIT多恰恰说明服务端自己在大量主动关闭连接跟客户端没有必然关系。服务端一旦主动发起关闭就会为每条连接承担TIME_WAIT代价。2.2 为什么服务端会变成“主动关闭方”服务端的主动关闭通常有这么几个来源。一是HTTP短连接场景。客户端发一次请求服务端处理完响应里带Connection: close头然后服务端主动关闭TCP连接。这种情况下服务端就成了主动关闭方TIME_WAIT自然堆在服务端。Java里如果用最原生的HttpServer或者某些配置不当的Servlet容器很容易出现这种一请求一断连的行为。二是连接池管理不当。比如服务端作为调用方通过HttpClient或数据库连接池对外发起连接。连接池的策略如果是“空闲超过N秒就回收”或者“连接用完立即关闭”那在低峰期连接池会频繁建连和断连。如果回收时连接池主动调用了closeTIME_WAIT就落在了服务端进程上。三是负载均衡和健康检查机制。Nginx、云负载均衡、K8s探针都会定期去探测后端服务健康状态。这些探测往往是一建连、一请求、一关闭的短连接。如果探测过于频繁或者后端响应头里没有开启keep-alive负载均衡和后端之间会积累大量TIME_WAIT。尤其是K8s的livenessProbe和readinessProbe如果配置成每次探测都新建连接在Pod副本很多、节点很多的情况下TIME_WAIT量会非常可观。2.3 Java服务端最典型的两个TIME_WAIT现场结合Java生态下面这两个场景你们多半遇到过。第一个是基于Spring Boot内置Tomcat的服务。Tomcat默认开启keep-alive也就是客户端可以复用同一TCP连接发多个请求只要配置了相同的Keep-Alive头。但如果业务代码在响应里手动加了Connection: close或者客户端本身不支持keep-alive、发完请求就关闭那么服务端处理完请求后就会主动关闭连接。一旦某个调用方比如内部其他系统使用短连接频繁调用你的Java服务你这边就会堆积大量TIME_WAIT。第二个是使用HttpURLConnection的老代码。JDK原生的HttpURLConnection在默认情况下可能只在同一个hostname下缓存少量连接并且如果代码没有正确读取响应流就调用disconnect()连接会立即关闭。很多老项目迁移到新框架时遗留代码还在用这种模式逐个请求、逐个关闭到网关或上游服务看TIME_WAIT就是这些客户端堆起来的。这里的核心判断标准只有一个你的服务是主动断开的一方就会承担TIME_WAIT。3. 排查怎么确认自己的服务TIME_WAIT偏多3.1 两条命令快速摸清连接状态分布排查TIME_WAIT本身不复杂Linux下两条命令就够了。# 统计处于TIME_WAIT状态的连接数 netstat -nat | awk {print $6} | sort | uniq -c | sort -rn # 指定端口下的TIME_WAIT数量 netstat -nat | grep :8080 | grep TIME_WAIT | wc -l更推荐用ss命令因为它直接读取内核socket相关信息速度更快高并发下不会因为执行命令本身给系统带来额外压力。ss -tan | awk {print $1} | sort | uniq -c | sort -rn # 只看某个端口的连接状态 ss -tan | grep :8080 | grep TIME_WAIT通过这两条命令你能看到系统整体以及指定端口下的TIME_WAIT数量。如果单台机器上TIME_WAIT超过两三万同时有新连接报地址被占用Address already in use那就要进入下一步分析了。3.2 从TCP视角看连接生命周期光知道数量还不够得确认TIME_WAIT是从哪条链路来的。方法很简单用ss带详细信息看对端地址和端口。# 查看TIME_WAIT连接的详细对端信息 ss -tanp state time-wait | head -50重点观察对端IP和端口。如果对端IP集中在某个客户端网段那可能是客户端连接池配置问题如果对端IP是负载均衡器或K8s探针的IP那就是健康检查/转发策略问题如果对端端口范围分布很广可能是服务对外提供接口时被大量短连接客户端访问。还有一种情况TIME_WAIT较多的连接对端也有不少是随机端口说明是公网或外部系统直接访问你的服务。这种情况下除了调整应用层策略还得考虑在架构上做一层长连接网关或代理避免外部短连接直接打到业务服务。3.3 Java侧能做的观测和辅助判断在Java进程内部你可以进一步确认连接是否为长期未关闭。用jstack看线程堆栈如果发现大量线程阻塞在socket连接关闭或建连操作上同时系统TIME_WAIT数量高基本可以确定是短连接调度太频繁。更直接的办法是打开/proc/net/socket或通过lsof列出进程持有的TCP连接但这类命令在连接数很大的情况下会消耗CPU生产环境要谨慎。我通常的建议是先用ss做宏观分析再用jstack拍线程快照做微观判断两层对照基本就能锁定方向。这里有个小经验TIME_WAIT过多时别急着调内核参数。先花半小时把连接的对端IP分布和业务峰值时间对照一下往往能直接找到是哪个上游在产生短连接比盲目调参数高效得多。4. 治理方案从内核参数到应用层再到架构4.1 内核参数调整先懂原理再动手网上搜TIME_WAIT优化搜出来基本就是三件套tcp_tw_reuse、tcp_tw_recycle、tcp_fin_timeout。但很多教程说得不清不楚导致不少人抄作业调出问题。我一个个讲清楚。net.ipv4.tcp_tw_reuse。这个参数的作用在发起新连接时如果有TIME_WAIT状态的连接满足条件对端IP、端口一样且新连接的时间戳比TIME_WAIT连接的时间戳大内核可以直接复用这个TIME_WAIT连接的四元组而不是等待2MSL结束。注意关键字“发起新连接时”和“满足时间戳条件”。也就是说tcp_tw_reuse主要对客户端主动调用connect的一端有效。服务端接收连接时TIME_WAIT连接的复用逻辑属于另一个范畴tcp_tw_reuse对服务端堆积TIME_WAIT基本没有帮助。所以如果你的服务是作为被调用方堆积TIME_WAIT调这个参数效果不大。它更适合解决Java服务作为上游调用方、频繁向第三方发短连接导致的TIME_WAIT问题。net.ipv4.tcp_tw_recycle。这个参数曾经被很多人用来快速回收TIME_WAIT连接但它有个致命缺陷它开启后会基于IP时间戳逻辑来处理对端连接的“新”和“旧”在一台服务器后面有多台客户端机器NAT环境时会把不同机器的TCP时间戳判为乱序导致正常的建连请求被拒绝表现为“客户端偶尔连不上服务端一会儿好一会儿坏”。这个坑在云上和移动网络下特别明显。而且Linux 4.12内核已经正式移除了tcp_tw_recycle支持所以老文章里的这个参数到今天已经没有任何意义。看到这里还在教人开启tcp_tw_recycle的文章可以直接关掉。net.ipv4.tcp_fin_timeout。这个参数控制的是FIN_WAIT_2状态被动方此时还在CLOSE_WAIT的超时时间默认60秒。如果对端一直不发送FIN主动关闭方停留在FIN_WAIT_2的时间过长。适当调低到30秒左右可以加快连接释放但它并不直接减少TIME_WAIT数量因为TIME_WAIT是FIN_WAIT_2之后的阶段。net.ipv4.tcp_max_tw_buckets。这个参数是限制系统内TIME_WAIT连接的最大数量。超过这个值内核会尽快清除多余的TIME_WAIT连接同时可以在dmesg里看到“TCP: time wait bucket table overflow”的日志。这个参数可以用但要注意单纯调大或者调小都是治标不治本。调大只是让系统能容纳更多TIME_WAIT端口照样可能被占用调小会迅速回收TIME_WAIT但会牺牲刚才说的两个核心保障可能出现连接异常。安全提示内核对TIME_WAIT的这套设计是为了保证TCP可靠性和数据一致性调整相关参数前先确认你真的理解了每个参数的生效场景不要在没分析清楚根因的情况下把参数一顿乱调。4.2 应用层优化把连接池和keep-alive用对Java应用层的优化很多时候比调内核参数更有效、更安全。核心思路就一句话减少不必要的主动关闭。先说对外调用方的优化。假如你的Java服务通过HTTP调用另一个服务最忌讳的做法是每次请求都新建连接、用完就关。正确的解法是使用带连接池的HTTP客户端比如Apache HttpClient、OkHttp或者Spring的RestTemplate配上连接池管理器。用Apache HttpClient举例连接池配置的关键参数是这样的PoolingHttpClientConnectionManager manager new PoolingHttpClientConnectionManager(); // 最大连接数 manager.setMaxTotal(500); // 每个路由host:port最大连接数 manager.setMaxPerRoute(200); // 空闲连接存活时间 manager.setValidateAfterInactivity(3000); HttpClient client HttpClients.custom() .setConnectionManager(manager) .setKeepAliveStrategy((response, context) - 30 * 1000L) .build();这段配置的意义是连接池里最多保留500条连接每个目标服务最多200条空闲3秒后仍可复用空闲策略设置keep-alive时间为30秒。这样即使业务QPS很高TCP连接数也只会在池子里稳定使用不会频繁建连和断连。如果用的是OkHttp也有类似的配置OkHttpClient client new OkHttpClient.Builder() .connectionPool(new ConnectionPool(200, 30, TimeUnit.SECONDS)) .build();再说被调用方的优化。服务端要减少主动关闭核心是配合客户端的keep-alive。比如Spring Boot内置Tomcat可以调整这两个参数server.tomcat.keep-alive-timeout60s server.tomcat.max-keep-alive-requests1000这里的意思是当客户端声明支持keep-alive时服务端在60秒内复用同一连接响应多次请求最多处理1000个请求后再关闭。这在大量客户端连接复用的场景下能显著降低服务端的TIME_WAIT数量。但要注意一个反向场景如果客户端数量非常大比如几万台IoT设备且每个客户端建连后只发一两条数据保持keep-alive反而会让服务端维护大量CLOSE_WAIT或空闲连接。这种情况下及时关闭连接、承担TIME_WAIT反而是更合理的选择。所以不要一刀切地追求“开keep-alive”或“关keep-alive”要看你的连接模型。4.3 架构层面引入长连接和代理层当应用层优化已经到位但短连接仍然不可避免比如客户端就是外部公网用户他们用到的HTTP库可能不支持连接复用这时候就得在架构上做文章。常见的做法是在业务服务前面加一层负载均衡或代理由代理层终结外部短连接再通过长连接向后端转发。Nginx到后端Tomcat可以开启upstream keepaliveupstream backend { server 10.0.0.1:8080; keepalive 64; } server { listen 80; location / { proxy_pass http://backend; proxy_http_version 1.1; proxy_set_header Connection ; } }这里的核心点是proxy_set_header Connection 清空Connection头强制Nginx与后端之间复用keep-alive连接。这样外部客户端的短连接都终结在Nginx后端看到的是稳定的长连接流量TIME_WAIT自然从后端转移到Nginx。如果Nginx压力可以承受这个转移是划算的因为Nginx本身擅长处理海量并发连接并且处于架构的边缘TIME_WAIT不会影响核心业务。云上环境也是一样的思路。负载均衡SLB挂在业务服务前面后端用健康检查长连接模式业务服务只维护少量活跃连接。对于Java服务内部如果引入了RPC框架比如Dubbo、gRPC它们天然基于长连接一般不会出现TIME_WAIT堆积问题。真正需要操心的是HTTP入口、HTTP调用和数据库/缓存连接池这三大块。5. 避坑指南与常见问题速查表把我在实际排查中经常遇到的几个问题整理成一张表方便大家对照处理。常见现象可能原因优先处理动作服务端TIME_WAIT数量高达几万上游客户端短连接频繁调用服务端主动关闭了连接检查响应是否带Connection: close推动上游开启连接复用服务端端口耗尽报Address already in useTIME_WAIT占用大量临时端口新连接无法分配端口调大net.ipv4.ip_local_port_range同时优化连接复用服务发起对外HTTPS/HTTP调用自身TIME_WAIT多主调方连接池配置过小连接频繁回收配置HttpClient连接池增大maxPerRoute数据库连接池频繁断连伴随TIME_WAIT连接池空闲回收时间设置过短调大空闲连接超时时间或把minIdle调高K8s部署服务IP频繁变化出现大量TIME_WAIT探针短连接被分散在多个Pod的IP上调整探针频率使用长连接探针方案开启tcp_tw_reuse后问题没解决服务端接收连接该参数对主动发起connect的场景更有效确认自身是主调方还是被调方不要盲目依赖该参数某次调整tcp_tw_recycle后出现连接异常NAT环境下的时间戳乱序问题内核4.12之后该参数已移除确认是否在老旧内核上误配再补充几个容易忽略的细节。第一TIME_WAIT本身不是性能指标不用追求“零TIME_WAIT”。只要连接还在正常建立端口没有被占满TIME_WAIT多并不代表服务异常。我见过有人把TIME_WAIT数量当成健康指标一多就紧张。实际上TIME_WAIT多说明服务最近主动关闭了不少连接如果这些连接是正常业务逻辑产生的业务代码和系统都没问题。第二端口范围要提前规划。客户端连接一个服务时本地端口从ip_local_port_range指定的范围内分配。Linux默认范围通常是32768 60999也就是最多大约2.8万个临时端口。如果并发高2.8万个端口很快就会被TIME_WAIT占满。可以适当扩大sysctl -w net.ipv4.ip_local_port_range 1024 65000但要注意扩大端口范围会增加内核维护连接表的开销不能无脑拉大。建议压测评估后按需调整。第三不要小看连接池里那些“看起来没用”的配置。比如validateAfterInactivity、timeBetweenEvictionRunsMillis这些参数在连接池空闲时定期清理不活跃连接。如果清理逻辑写得不对池子里的连接会被提前销毁造成“池子还在连接却断了”的情况最终引发的还是TIME_WAIT和CLOSE_WAIT交替出现。6. 写在最后的一些个人经验做Java后端这几年TIME_WAIT是我遇到的第一个“看似简单深入下去全是细节”的网络问题。它不复杂但牵涉到TCP协议、操作系统内核、应用层连接池、架构设计几个层面的协作。我自己的体会是遇到TIME_WAIT过多先别急着调内核参数先回答三个问题——我这个服务是主动关闭方还是被动关闭方关闭连接的业务动作是正常符合预期还是连接池配置失误导致的如果改成连接复用会不会带来其他副作用比如连接数暴涨、内存占用升高这三个问题想清楚TIME_WAIT问题基本就解决了一半。另外提一句我在项目里做HTTP调用的经验是无论用什么框架一定要把连接池的监控指标埋点接出来比如连接池活跃连接数、空闲连接数、等待获取连接数。这些指标比TIME_WAIT更早反映问题。等TIME_WAIT报警的时候其实连接已经频繁创建和关闭一段时间了。早看到连接池指标就能早一步定位。TIME_WAIT不是洪水猛兽它是TCP协议为了保证可靠性作出的合理设计。理解它然后根据业务场景去适配它比试图绕过它更靠谱。如果你现在正被这个问题困扰按上面的步骤先从连接对端分布查起九成以上能定位到根因。
