﻿<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:trackback="http://madskills.com/public/xml/rss/module/trackback/" xmlns:wfw="http://wellformedweb.org/CommentAPI/" xmlns:slash="http://purl.org/rss/1.0/modules/slash/"><channel><title>语源科技BlogJava-疯狂</title><link>http://www.blogjava.net/freeman1984/</link><description>STANDING ON THE SHOULDERS OF GIANTS
</description><language>zh-cn</language><lastBuildDate>Mon, 16 Nov 2026 19:00:11 GMT</lastBuildDate><pubDate>Mon, 16 Nov 2026 19:00:11 GMT</pubDate><ttl>60</ttl><item><title>  后续内容请移步公众号“duomi88” </title><link>http://www.blogjava.net/freeman1984/archive/2019/04/03/433700.html</link><dc:creator>疯狂</dc:creator><author>疯狂</author><pubDate>Wed, 03 Apr 2019 01:55:00 GMT</pubDate><guid>http://www.blogjava.net/freeman1984/archive/2019/04/03/433700.html</guid><description><![CDATA[&nbsp;&nbsp;&nbsp;&nbsp; 摘要: 后续内容请移步公众号和简书号“18岁fantasy”。<br><br>定期发布一些技术和产品内容，欢迎关注交流。&nbsp;&nbsp;<a href='http://www.blogjava.net/freeman1984/archive/2019/04/03/433700.html'>阅读全文</a><img src ="http://www.blogjava.net/freeman1984/aggbug/433700.html" width = "1" height = "1" /><br><br><div align=right><a style="text-decoration:none;" href="http://www.blogjava.net/freeman1984/" target="_blank">疯狂</a> 2019-04-03 09:55 <a href="http://www.blogjava.net/freeman1984/archive/2019/04/03/433700.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div>]]></description></item><item><title>Netty百万级推送服务（转）</title><link>http://www.blogjava.net/freeman1984/archive/2016/07/13/431178.html</link><dc:creator>疯狂</dc:creator><author>疯狂</author><pubDate>Wed, 13 Jul 2016 02:03:00 GMT</pubDate><guid>http://www.blogjava.net/freeman1984/archive/2016/07/13/431178.html</guid><wfw:comment>http://www.blogjava.net/freeman1984/comments/431178.html</wfw:comment><comments>http://www.blogjava.net/freeman1984/archive/2016/07/13/431178.html#Feedback</comments><slash:comments>0</slash:comments><wfw:commentRss>http://www.blogjava.net/freeman1984/comments/commentRss/431178.html</wfw:commentRss><trackback:ping>http://www.blogjava.net/freeman1984/services/trackbacks/431178.html</trackback:ping><description><![CDATA[<div>转载自：http://www.open-open.com/lib/view/open1420623195375.html<br /><br /><h2>1. 背景</h2><h3>1.1. 话题来源</h3><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我，咨询推送服务相关的问题。问题五花八门，在帮助大家答疑解惑的过程中，我也对问题进行了总结，大概可以归纳为如下几类：</p><ol style="box-sizing: border-box; margin: 5px 2px 5px 50px; padding: 0px; line-height: 28.8px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><li style="box-sizing: border-box; line-height: 23.4px;">Netty是否可以做推送服务器？</li><li style="box-sizing: border-box; line-height: 23.4px;">如果使用Netty开发推送服务，一个服务器最多可以支撑多少个客户端？</li><li style="box-sizing: border-box; line-height: 23.4px;">使用Netty开发推送服务遇到的各种技术问题。</li></ol><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">由于咨询者众多，关注点也比较集中，我希望通过本文的案例分析和对推送服务设计要点的总结，帮助大家在实际工作中少走弯路。</p><h3>1.2. 推送服务</h3><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">移动互联网时代，推送(Push)服务成为App应用不可或缺的重要组成部分，推送服务可以提升用户的活跃度和留存率。我们的手机每天接收到各种各样的广告和提示消息等大多数都是通过推送服务实现的。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">随着物联网的发展，大多数的智能家居都支持移动推送服务，未来所有接入物联网的智能设备都将是推送服务的客户端，这就意味着推送服务未来会面临海量的设备和终端接入。</p><h4>1.3. 推送服务的特点</h4><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">移动推送服务的主要特点如下：</p><ol style="box-sizing: border-box; margin: 5px 2px 5px 50px; padding: 0px; line-height: 28.8px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><li style="box-sizing: border-box; line-height: 23.4px;">使用的网络主要是运营商的无线移动网络，网络质量不稳定，例如在地铁上信号就很差，容易发生网络闪断；</li><li style="box-sizing: border-box; line-height: 23.4px;">海量的客户端接入，而且通常使用长连接，无论是客户端还是服务端，资源消耗都非常大；</li><li style="box-sizing: border-box; line-height: 23.4px;">由于谷歌的推送框架无法在国内使用，Android的长连接是由每个应用各自维护的，这就意味着每台安卓设备上会存在多个长连接。即便没有消息需要推送，长连接本身的心跳消息量也是非常巨大的，这就会导致流量和耗电量的增加；</li><li style="box-sizing: border-box; line-height: 23.4px;">不稳定：消息丢失、重复推送、延迟送达、过期推送时有发生；</li><li style="box-sizing: border-box; line-height: 23.4px;">垃圾消息满天飞，缺乏统一的服务治理能力。</li></ol><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">为了解决上述弊端，一些企业也给出了自己的解决方案，例如京东云推出的推送服务，可以实现多应用单服务单连接模式，使用AlarmManager定时心跳节省电量和流量。</p><h2>2. 智能家居领域的一个真实案例</h2><h3>2.1. 问题描述</h3><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">智能家居MQTT消息服务中间件，保持10万用户在线长连接，2万用户并发做消息请求。程序运行一段时间之后，发现内存泄露，怀疑是Netty的Bug。其它相关信息如下：</p><ol style="box-sizing: border-box; margin: 5px 2px 5px 50px; padding: 0px; line-height: 28.8px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><li style="box-sizing: border-box; line-height: 23.4px;">MQTT消息服务中间件服务器内存16G，8个核心CPU；</li><li style="box-sizing: border-box; line-height: 23.4px;">Netty中boss线程池大小为1，worker线程池大小为6，其余线程分配给业务使用。该分配方式后来调整为worker线程池大小为11，问题依旧；</li><li style="box-sizing: border-box; line-height: 23.4px;">Netty版本为4.0.8.Final。</li></ol><h3>2.2. 问题定位</h3><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">首先需要dump内存堆栈，对疑似内存泄露的对象和引用关系进行分析，如下所示：</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><img alt="Netty百万级推送服务" src="http://static.open-open.com/lib/uploadImg/20150107/20150107173326_758.png" width="1189" height="448" style="box-sizing: border-box; border: 0px; vertical-align: middle; max-width: 100%; height: 200px; width: 531px;" /></p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">我们发现Netty的ScheduledFutureTask增加了9076%，达到110W个左右的实例，通过对业务代码的分析发现用户使用IdleStateHandler用于在链路空闲时进行业务逻辑处理，但是空闲时间设置的比较大，为15分钟。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">Netty 的IdleStateHandler会根据用户的使用场景，启动三类定时任务，分别是：ReaderIdleTimeoutTask、 WriterIdleTimeoutTask和AllIdleTimeoutTask，它们都会被加入到NioEventLoop的Task队列中被调度 和执行。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">由 于超时时间过长，10W个长链接链路会创建10W个ScheduledFutureTask对象，每个对象还保存有业务的成员变量，非常消耗内存。用户的 持久代设置的比较大，一些定时任务被老化到持久代中，没有被JVM垃圾回收掉，内存一直在增长，用户误认为存在内存泄露。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">事实上，我们进一步分析发现，用户的超时时间设置的非常不合理，15分钟的超时达不到设计目标，重新设计之后将超时时间设置为45秒，内存可以正常回收，问题解决。</p><h3>2.3. 问题总结</h3><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">如果是100个长连接，即便是长周期的定时任务，也不存在内存泄露问题，在新生代通过minor GC就可以实现内存回收。正是因为十万级的长连接，导致小问题被放大，引出了后续的各种问题。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">事实上，如果用户确实有长周期运行的定时任务，该如何处理？对于海量长连接的推送服务，代码处理稍有不慎，就满盘皆输，下面我们针对Netty的架构特点，介绍下如何使用Netty实现百万级客户端的推送服务。</p><h2>3. Netty海量推送服务设计要点</h2><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">作为高性能的NIO框架，利用Netty开发高效的推送服务技术上是可行的，但是由于推送服务自身的复杂性，想要开发出稳定、高性能的推送服务并非易事，需要在设计阶段针对推送服务的特点进行合理设计。</p><h3>3.1. 最大句柄数修改</h3><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">百万长连接接入，首先需要优化的就是Linux内核参数，其中Linux最大文件句柄数是最重要的调优参数之一，默认单进程打开的最大句柄数是1024，通过ulimit -a可以查看相关参数，示例如下：</p><pre toolbar:=""  true;="" auto-links:=""  false;"="" style="box-sizing: border-box; overflow: auto; font-family: Menlo, Monaco, Consolas, &quot;Courier New&quot;, monospace; font-size: 13.6px; padding: 6px; margin-top: 0px; margin-bottom: 10px; line-height: 1.45; color: #333333; word-break: break-all; word-wrap: break-word; border: none; border-radius: 3px; background-color: #f6f6f6;">[root@lilinfeng ~]# ulimit -a core file size          (blocks, -c) 0 data seg size           (kbytes, -d) unlimited scheduling priority             (-e) 0 file size               (blocks, -f) unlimited pending signals                 (-i) 256324 max locked memory       (kbytes, -l) 64 max memory size         (kbytes, -m) unlimited open files                      (-n) 1024  ......后续输出省略</pre><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">当单个推送服务接收到的链接超过上限后，就会报&#8220;too many open files&#8221;，所有新的客户端接入将失败。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">通过vi /etc/security/limits.conf 添加如下配置参数：修改之后保存，注销当前用户，重新登录，通过ulimit -a 查看修改的状态是否生效。</p><pre toolbar:=""  true;="" auto-links:=""  false;"="" style="box-sizing: border-box; overflow: auto; font-family: Menlo, Monaco, Consolas, &quot;Courier New&quot;, monospace; font-size: 13.6px; padding: 6px; margin-top: 0px; margin-bottom: 10px; line-height: 1.45; color: #333333; word-break: break-all; word-wrap: break-word; border: none; border-radius: 3px; background-color: #f6f6f6;">*  soft&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;nofile&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1000000 *  hard&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;nofile&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1000000</pre><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">需要指出的是，尽管我们可以将单个进程打开的最大句柄数修改的非常大，但是当句柄数达到一定数量级之后，处理效率将出现明显下降，因此，需要根据服务器的硬件配置和处理能力进行合理设置。如果单个服务器性能不行也可以通过集群的方式实现。</p><h3>3.2. 当心CLOSE_WAIT</h3><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">从事移动推送服务开发的同学可能都有体会，移动无线网络可靠性非常差，经常存在客户端重置连接，网络闪断等。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">在百万长连接的推送系统中，服务端需要能够正确处理这些网络异常，设计要点如下：</p><ol style="box-sizing: border-box; margin: 5px 2px 5px 50px; padding: 0px; line-height: 28.8px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><li style="box-sizing: border-box; line-height: 23.4px;">客户端的重连间隔需要合理设置，防止连接过于频繁导致的连接失败（例如端口还没有被释放）；</li><li style="box-sizing: border-box; line-height: 23.4px;">客户端重复登陆拒绝机制；</li><li style="box-sizing: border-box; line-height: 23.4px;">服务端正确处理I/O异常和解码异常等，防止句柄泄露。</li></ol><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">最 后特别需要注意的一点就是close_wait 过多问题，由于网络不稳定经常会导致客户端断连，如果服务端没有能够及时关闭socket，就会导致处于close_wait状态的链路过多。 close_wait状态的链路并不释放句柄和内存等资源，如果积压过多可能会导致系统句柄耗尽，发生&#8220;Too many open files&#8221;异常，新的客户端无法接入，涉及创建或者打开句柄的操作都将失败。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">下面对close_wait状态进行下简单介绍，被动关闭TCP连接状态迁移图如下所示：</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><img alt="Netty百万级推送服务" src="http://static.open-open.com/lib/uploadImg/20150107/20150107173327_308.png" width="639" height="368" style="box-sizing: border-box; border: 0px; vertical-align: middle; max-width: 100%; height: 368px; width: 639px;" /></p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">图3-1 被动关闭TCP连接状态迁移图</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">close_wait 是被动关闭连接是形成的，根据TCP状态机，服务器端收到客户端发送的FIN，TCP协议栈会自动发送ACK，链接进入close_wait状态。但如果 服务器端不执行socket的close()操作，状态就不能由close_wait迁移到last_ack，则系统中会存在很多close_wait状 态的连接。通常来说，一个close_wait会维持至少2个小时的时间（系统默认超时时间的是7200秒，也就是2小时）。如果服务端程序因某个原因导 致系统造成一堆close_wait消耗资源，那么通常是等不到释放那一刻，系统就已崩溃。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">导致close_wait过多的可能原因如下：</p><ol style="box-sizing: border-box; margin: 5px 2px 5px 50px; padding: 0px; line-height: 28.8px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><li style="box-sizing: border-box; line-height: 23.4px;">程序处理Bug，导致接收到对方的fin之后没有及时关闭socket，这可能是Netty的Bug，也可能是业务层Bug，需要具体问题具体分析；</li><li style="box-sizing: border-box; line-height: 23.4px;">关闭socket不及时：例如I/O线程被意外阻塞，或者I/O线程执行的用户自定义Task比例过高，导致I/O操作处理不及时，链路不能被及时释放。</li></ol><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">下面我们结合Netty的原理，对潜在的故障点进行分析。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">设 计要点1：不要在Netty的I/O线程上处理业务（心跳发送和检测除外）。Why? 对于Java进程，线程不能无限增长，这就意味着Netty的Reactor线程数必须收敛。Netty的默认值是CPU核数 * 2，通常情况下，I/O密集型应用建议线程数尽量设置大些，但这主要是针对传统同步I/O而言，对于非阻塞I/O，线程数并不建议设置太大，尽管没有最优 值，但是I/O线程数经验值是[CPU核数 + 1，CPU核数*2 ]之间。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">假 如单个服务器支撑100万个长连接，服务器内核数为32，则单个I/O线程处理的链接数L = 100/(32 * 2) = 15625。 假如每5S有一次消息交互（新消息推送、心跳消息和其它管理消息），则平均CAPS = 15625 / 5 = 3125条/秒。这个数值相比于Netty的处理性能而言压力并不大，但是在实际业务处理中，经常会有一些额外的复杂逻辑处理，例如性能统计、记录接口日 志等，这些业务操作性能开销也比较大，如果在I/O线程上直接做业务逻辑处理，可能会阻塞I/O线程，影响对其它链路的读写操作，这就会导致被动关闭的链 路不能及时关闭，造成close_wait堆积。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">设计要点2：在I/O线程上执行自定义Task要当心。Netty的I/O处理线程NioEventLoop支持两种自定义Task的执行：</p><ol style="box-sizing: border-box; margin: 5px 2px 5px 50px; padding: 0px; line-height: 28.8px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><li style="box-sizing: border-box; line-height: 23.4px;">普通的Runnable: 通过调用NioEventLoop的execute(Runnable task)方法执行；</li><li style="box-sizing: border-box; line-height: 23.4px;">定时任务ScheduledFutureTask:通过调用NioEventLoop的schedule(Runnable command, long delay, TimeUnit unit)系列接口执行。</li></ol><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">为什么NioEventLoop要支持用户自定义Runnable和ScheduledFutureTask的执行，并不是本文要讨论的重点，后续会有专题文章进行介绍。本文重点对它们的影响进行分析。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">在 NioEventLoop中执行Runnable和ScheduledFutureTask，意味着允许用户在NioEventLoop中执行非I/O操 作类的业务逻辑，这些业务逻辑通常用消息报文的处理和协议管理相关。它们的执行会抢占NioEventLoop I/O读写的CPU时间，如果用户自定义Task过多，或者单个Task执行周期过长，会导致I/O读写操作被阻塞，这样也间接导致close_wait 堆积。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">所 以，如果用户在代码中使用到了Runnable和ScheduledFutureTask，请合理设置ioRatio的比例，通过 NioEventLoop的setIoRatio(int ioRatio)方法可以设置该值，默认值为50，即I/O操作和用户自定义任务的执行时间比为1：1。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">我的建议是当服务端处理海量客户端长连接的时候，不要在NioEventLoop中执行自定义Task，或者非心跳类的定时任务。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">设 计要点3：IdleStateHandler使用要当心。很多用户会使用IdleStateHandler做心跳发送和检测，这种用法值得提倡。相比于自 己启定时任务发送心跳，这种方式更高效。但是在实际开发中需要注意的是，在心跳的业务逻辑处理中，无论是正常还是异常场景，处理时延要可控，防止时延不可 控导致的NioEventLoop被意外阻塞。例如，心跳超时或者发生I/O异常时，业务调用Email发送接口告警，由于Email服务端处理超时，导 致邮件发送客户端被阻塞，级联引起IdleStateHandler的AllIdleTimeoutTask任务被阻塞，最终NioEventLoop多 路复用器上其它的链路读写被阻塞。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">对于ReadTimeoutHandler和WriteTimeoutHandler，约束同样存在。</p><h3>3.3. 合理的心跳周期</h3><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">百万级的推送服务，意味着会存在百万个长连接，每个长连接都需要靠和App之间的心跳来维持链路。合理设置心跳周期是非常重要的工作，推送服务的心跳周期设置需要考虑移动无线网络的特点。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">当 一台智能手机连上移动网络时，其实并没有真正连接上Internet，运营商分配给手机的IP其实是运营商的内网IP，手机终端要连接上Internet 还必须通过运营商的网关进行IP地址的转换，这个网关简称为NAT(NetWork Address Translation)，简单来说就是手机终端连接Internet 其实就是移动内网IP，端口，外网IP之间相互映射。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">GGSN(GateWay GPRS Support Note)模块就实现了NAT功能，由于大部分的移动无线网络运营商为了减少网关NAT映射表的负荷，如果一个链路有一段时间没有通信时就会删除其对应 表，造成链路中断，正是这种刻意缩短空闲连接的释放超时，原本是想节省信道资源的作用，没想到让互联网的应用不得以远高于正常频率发送心跳来维护推送的长 连接。以中移动的2.5G网络为例，大约5分钟左右的基带空闲，连接就会被释放。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">由 于移动无线网络的特点，推送服务的心跳周期并不能设置的太长，否则长连接会被释放，造成频繁的客户端重连，但是也不能设置太短，否则在当前缺乏统一心跳框 架的机制下很容易导致信令风暴（例如微信心跳信令风暴问题）。具体的心跳周期并没有统一的标准，180S也许是个不错的选择，微信为300S。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">在Netty中，可以通过在ChannelPipeline中增加IdleStateHandler的方式实现心跳检测，在构造函数中指定链路空闲时间，然后实现空闲回调接口，实现心跳的发送和检测，代码如下：</p><pre toolbar:=""  true;="" auto-links:=""  false;"="" style="box-sizing: border-box; overflow: auto; font-family: Menlo, Monaco, Consolas, &quot;Courier New&quot;, monospace; font-size: 13.6px; padding: 6px; margin-top: 0px; margin-bottom: 10px; line-height: 1.45; color: #333333; word-break: break-all; word-wrap: break-word; border: none; border-radius: 3px; background-color: #f6f6f6;">public void initChannel({@link Channel} channel) {  channel.pipeline().addLast("idleStateHandler", new {@link   IdleStateHandler}(0, 0, 180));  channel.pipeline().addLast("myHandler", new MyHandler()); } 拦截链路空闲事件并处理心跳：  public class MyHandler extends {@link ChannelHandlerAdapter} {      {@code @Override}       public void userEventTriggered({@link ChannelHandlerContext} ctx, {@link Object} evt) throws {@link Exception} {           if (evt instanceof {@link IdleStateEvent}} {               //心跳处理           }       }   }</pre><h3>3.4. 合理设置接收和发送缓冲区容量</h3><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">对于长链接，每个链路都需要维护自己的消息接收和发送缓冲区，JDK原生的NIO类库使用的是java.nio.ByteBuffer,它实际是一个长度固定的Byte数组，我们都知道数组无法动态扩容，ByteBuffer也有这个限制，相关代码如下：</p><pre toolbar:=""  true;="" auto-links:=""  false;"="" style="box-sizing: border-box; overflow: auto; font-family: Menlo, Monaco, Consolas, &quot;Courier New&quot;, monospace; font-size: 13.6px; padding: 6px; margin-top: 0px; margin-bottom: 10px; line-height: 1.45; color: #333333; word-break: break-all; word-wrap: break-word; border: none; border-radius: 3px; background-color: #f6f6f6;">public abstract class ByteBuffer     extends Buffer     implements Comparable {     final byte[] hb; // Non-null only for heap buffers     final int offset;     boolean isReadOnly;</pre><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">容 量无法动态扩展会给用户带来一些麻烦，例如由于无法预测每条消息报文的长度，可能需要预分配一个比较大的ByteBuffer，这通常也没有问题。但是在 海量推送服务系统中，这会给服务端带来沉重的内存负担。假设单条推送消息最大上限为10K，消息平均大小为5K，为了满足10K消息的处 理，ByteBuffer的容量被设置为10K，这样每条链路实际上多消耗了5K内存，如果长链接链路数为100万，每个链路都独立持有 ByteBuffer接收缓冲区，则额外损耗的总内存 Total(M) = 1000000 * 5K = 4882M。内存消耗过大，不仅仅增加了硬件成本，而且大内存容易导致长时间的Full GC，对系统稳定性会造成比较大的冲击。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">实际上，最灵活的处理方式就是能够动态调整内存，即接收缓冲区可以根据以往接收的消息进行计算，动态调整内存，利用CPU资源来换内存资源，具体的策略如下：</p><ol style="box-sizing: border-box; margin: 5px 2px 5px 50px; padding: 0px; line-height: 28.8px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><li style="box-sizing: border-box; line-height: 23.4px;">ByteBuffer支持容量的扩展和收缩，可以按需灵活调整，以节约内存；</li><li style="box-sizing: border-box; line-height: 23.4px;">接收消息的时候，可以按照指定的算法对之前接收的消息大小进行分析，并预测未来的消息大小，按照预测值灵活调整缓冲区容量，以做到最小的资源损耗满足程序正常功能。</li></ol><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">幸运的是，Netty提供的ByteBuf支持容量动态调整，对于接收缓冲区的内存分配器，Netty提供了两种：</p><ol style="box-sizing: border-box; margin: 5px 2px 5px 50px; padding: 0px; line-height: 28.8px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><li style="box-sizing: border-box; line-height: 23.4px;">FixedRecvByteBufAllocator：固定长度的接收缓冲区分配器，由它分配的ByteBuf长度都是固定大小的，并不会根据实际数据报 的大小动态收缩。但是，如果容量不足，支持动态扩展。动态扩展是Netty ByteBuf的一项基本功能，与ByteBuf分配器的实现没有关系；</li><li style="box-sizing: border-box; line-height: 23.4px;">AdaptiveRecvByteBufAllocator：容量动态调整的接收缓冲区分配器，它会根据之前Channel接收到的数据报大小进行计算， 如果连续填充满接收缓冲区的可写空间，则动态扩展容量。如果连续2次接收到的数据报都小于指定值，则收缩当前的容量，以节约内存。</li></ol><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">相对于FixedRecvByteBufAllocator，使用AdaptiveRecvByteBufAllocator更为合理，可以在创建客户端或者服务端的时候指定RecvByteBufAllocator，代码如下：</p><pre toolbar:=""  true;="" auto-links:=""  false;"="" style="box-sizing: border-box; overflow: auto; font-family: Menlo, Monaco, Consolas, &quot;Courier New&quot;, monospace; font-size: 13.6px; padding: 6px; margin-top: 0px; margin-bottom: 10px; line-height: 1.45; color: #333333; word-break: break-all; word-wrap: break-word; border: none; border-radius: 3px; background-color: #f6f6f6;"> Bootstrap b = new Bootstrap();             b.group(group)              .channel(NioSocketChannel.class)              .option(ChannelOption.TCP_NODELAY, true)              .option(ChannelOption.RCVBUF_ALLOCATOR, AdaptiveRecvByteBufAllocator.DEFAULT)</pre><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">如果默认没有设置，则使用AdaptiveRecvByteBufAllocator。</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">另外值得注意的是，无论是接收缓冲区还是发送缓冲区，缓冲区的大小建议设置为消息的平均大小，不要设置成最大消息的上限，这会导致额外的内存浪费。通过如下方式可以设置接收缓冲区的初始大小：</p><pre toolbar:=""  true;="" auto-links:=""  false;"="" style="box-sizing: border-box; overflow: auto; font-family: Menlo, Monaco, Consolas, &quot;Courier New&quot;, monospace; font-size: 13.6px; padding: 6px; margin-top: 0px; margin-bottom: 10px; line-height: 1.45; color: #333333; word-break: break-all; word-wrap: break-word; border: none; border-radius: 3px; background-color: #f6f6f6;">/** 	 * Creates a new predictor with the specified parameters. 	 *  	 * @param minimum 	 *            the inclusive lower bound of the expected buffer size 	 * @param initial 	 *            the initial buffer size when no feed back was received 	 * @param maximum 	 *            the inclusive upper bound of the expected buffer size 	 */ 	public AdaptiveRecvByteBufAllocator(int minimum, int initial, int maximum) </pre><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">对于消息发送，通常需要用户自己构造ByteBuf并编码，例如通过如下工具类创建消息发送缓冲区：</p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;"><img alt="Netty百万级推送服务" src="http://static.open-open.com/lib/uploadImg/20150107/20150107173327_362.png" width="426" height="226" style="box-sizing: border-box; border: 0px; vertical-align: middle; max-width: 100%; height: 226px; width: 426px;" /></p><p style="box-sizing: border-box; margin: 0px 0px 25px; line-height: 23.4px; font-size: 13px; font-family: Verdana, Arial, Helvetica, sans-serif; background-color: #fefef2;">图3-2 构造指定容量的