kernel: TCP: time wait bucket table overflow 问题分析和解决[通俗易懂]

全栈程序员-用户IM • 2022年5月23日上午9:00 • 未分类

大家好，又见面了，我是你们的朋友全栈君。

一问题描述

二问题分析

三问题解决

四问题扩展

4.1 time wait 连接过高有什么影响？

4.2 如何减少 time wait 连接数？

一问题描述

工作中的一台数据库打印如下日志：

kernel: TCP: time wait bucket table overflow 问题分析和解决[通俗易懂]

二问题分析

查看当时 TCP 连接数状态： netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’

kernel: TCP: time wait bucket table overflow 问题分析和解决[通俗易懂]

从图中可以看到 time wait 数据是20143，而机器配置是：

kernel: TCP: time wait bucket table overflow 问题分析和解决[通俗易懂]

得出结论：处于 time wait 状态的 TCP 套接字，超过 net.ipv4.tcp_max_tw_buckets 限制。

三问题解决

适当加大 net.ipv4.tcp_max_tw_buckets 参数值。

四问题扩展

4.1 time wait 连接过高有什么影响？

处于 time wait 状态的连接过高时会占用大量连接，可能导致无法创建新的连接，进而影响系统的负载能力。这时需要调整参数，以尽快地释放TIME_WAIT。

4.2 如何减少 time wait 连接数？

一般 TCP 相关的内核参数都在 /etc/sysct1.conf 文件中。为了能够尽快释放 TIME_WAIT 状态的连接，可以做以下配置。

net.ipv4.tcp_syncookies=1，表示开启 SYN Cookies。当出现 SYN 等待队列溢出时，启用 Cookies 来处理，可以防范少量SYN 攻击，默认值是0，表示关闭。
net.ipv4.tcp_tw_reuse=1，表示开启复用。允许将 TIME-WAIT Sockets 重新用于新的 TCP 连接，默认值是0，表示关闭。
net.ipv4.tcp_tw_recycle=1，表示开启 TCP 连接中 TIME-WAIT Socket 的快速回收，默认值是0，表示关闭。
net.ipv4.fin_timeout=10，修改系统默认的 TIMEOUT 时间。

需要注意的一点是，当打开了 tcp_tw_recycle 时，就会检查时间戳，移动环境下发来的包的时间戳有时候是乱跳的，会把带了“倒退”的时间戳的包当做“recycle 的 tw 连接的重传数据，而不是新的请求”，于是丢掉不回包，这样会造成大量丢包。可以考虑设置net.ipv4.timestamps=0，忽略报文的时间戳即可。

此外，还可以通过优化 TCP/IP 的可使用端口的范围，进一步提升负载能力。如下：

net.ipv4.tcp_keepalive_time=10，表示当 Keep Alive 启用的时候，TCP 发送 Keep Alive 消息的频度。默认是两小时。
net.ipv4.ip_local_port_range=10000 65000，表示用于向外连接的端口范围。默认情况是32768 61000。注意不要将最低值设得太低，否则可能会占用正常的端口。
net.ipv4.tcp_max_syn_backlog=8192，表示 SYN 队列的长度，默认值是1024，而加大队列长度为8192可以容纳更多等待连接的网络连接数。
net.ipv4.tcp_max_tw_buckets=25000，表示系统同时保持 TIME_WAIT 的最大值，如果超过这个值，TIME_WAIT 会被立刻清除并打印警告信息。