1）什么是MyThrift?
基于以下组件打造的一款轻量级RPC服务框架:thrift(facebook出品)、commons-pool(socket连接池)、自研服务治理框架(zookeeper).
2）为什么要写MyThrift?
2.1）提出问题：
各种存储越来越多(redis,mysql,hdfs,hbase,mq)，
让web开发人员自己访问存储，并保证性能，是一件高要求的事情。
造成的结果就是软件开发进度缓慢，性能低下，各种bug.
2.2）分析问题：
RPC框架：考虑到本人看过thrift的源码，尤其是针对网络模块非常熟悉，并在实际生产环境中使用过，thrift性能不错。
TCP/IP：有过2年的TCP/IP报文分析经验，从链路层到应用层都很熟悉。
ZooKeeper:在MySQL-Binlog项目中攒出了一些使用经验,同时积极吸收Motan,JACK,HArpc等兄弟软件的优秀理念部分。
连接池：使用commons-pool连接池组件。
2.3）解决问题：
糅合thrift,zookeeper,commons-pool打造一款轻量级、性能高、上手容易的rpc调用框架，
使得架构师和后台开发人员可以将各种复杂存储的IO访问对外暴露为服务(其实就是跨机器的普通函数调用)
这样web开发人员可以专注于业务逻辑，加速产品迭代,对企业带来的好处不用多说！
本次版本内容：
1）server端进行网络模型参数调优
2）client端有连接池
3）支持server注册多个thrift的处理器Processor
可用于集中式负载的服务化组件，达到生产环境级别，经历过生产环境的考验，可放心使用。
http://git.oschina.net/qiangzigege/MyThrift
内附非常详细+多图预警的《MyThrift在线使用文档.md》，0基础轻松上手！
在移动互联网时代，我们面对的是更多的客户端，更低的请求延迟，这当然需要对数据做大量的 Cache 以提高读写速度。
术语
现有 Cache 系统的特点
目前业界使用得最多的 Cache 系统主要是 memcached 和 redis。 这两个 Cache 系统都有都有很大的用户群，可以说是比较成熟的解决方案，也是很多系统当然的选择。 不过，在使用 memcached 和 redis 过程中，还是碰到了不少的问题和局限：
- Cluster 支持不够。在扩容、负载均衡、高可用等方面存在明显不足。
- 持久化支持不好，出现问题后恢复的代价大。memcached 完全不支持持久化，redis 的持久化会造成系统间歇性的负载很高。
我期待的理想 Cache 系统
良好的 cluster 支持
- Key 可以动态分散（Auto Sharding）在不同的服务器上，可以通过动态添加服务器节点增加系统容量。
- 没有单点失效，任何一个单点都不会造成数据不可访问。
- 读写负载可以均匀分布在系统的不同节点上。
支持异步持久化支持
- 方便快速恢复，甚至可以直接用作 key/value 数据库。 经常在跟业界朋友交流时，会提到用 key 分段的方法来做容量扩展以及负载均衡。但是用静态的 key 分段会有不少问题：
- Cache 系统本身及使用 cache 的客户端都需要预设一个分段逻辑，这个逻辑后期如果需要调整将会非常困难。不能解决单点失效的问题，还需要额外的手段。运维需要更多的人为参与，避免 key 超出现有分区，一旦出现 key 找不到对应服务器，访问直接失败。
最接近需求的系统：Couchbase
基于这些想法，我花了几天时间在 google, stack overflow, quora 上看了很多大家关于 cache cluster 的讨论，找到一个比较新系统 Couchbase。
memcached VS couchbase
Couchbase 的集群设计对等网
Couchbase 群集所有点都是对等的，只是在创建群或者加入集群时需要指定一个主节点，一旦结点成功加入集群，所有的结点对等。
图片来源：couchbase.com
对等网的优点是，集群中的任何节点失效，集群对外提供服务完全不会中断，只是集群的容量受影响。 Smart Client
由于 couchbase 是对等网集群，所有的节点都可以同时对客户端提供服务，这就需要有方法把集群的节点信息暴露给客户端，couchbase 提供了一套机制，客户端可以获取所有节点的状态以及节点的变动，由客户端根据集群的当前状态计算 key 所在的位置。 vBucket
vBucket 概念的引入，是 couchbase 实现 auto sharding，在线动态增减节点的重要基础。
简单的解释 vBucket 可以从静态分片开始说起，静态分片的做法一般是用 key 算出一个 hash，得到对应的服务器，这个算法很简单，也容易理解。如以下代码所示：
servers = ['server1:11211', 'server2:11211', 'server3:11211'] server_for_key(key) = servers[hash(key) % servers.length]
但也有几个问题：
- 如果一台服务器失效，会造成该分片的所有 key 失效。
- 如果服务器容量不同，管理非常麻烦。
- 前面提到过，运维、配置非常不方便。
为了把 key 跟服务器解耦合，couchbase 引入了 vBucket。可以说 vBucket 代表一个 cache 子集，主要特点：
- key hash 对应一个 vBucket，不再直接对应服务器。
- 集群维护一个全局的 vBucket 与服务器对应表。
- 前面提到的 smart client 重要的功能就是同步 vBucket 表。
如以下代码所示：
servers = ['server1:11211', 'server2:11211', 'server3:11211'] vbuckets = [0, 0, 1, 1, 2, 2] server_for_key(key) = servers[vbuckets[hash(key) % vbuckets.length]]
图片来源：http://dustin.sallings.org/2010/06/29/memcached-vbuckets.html
由于 vBucket 把 key 跟服务器的静态对应关系解耦合，基于 vBucket 可以实现一些非常强大有趣的功能，例如：
- Replica，以 vBucket 为单位的主从备份。如果某个节点失效，只需要更新 vBucket 映射表，马上启用备份数据。
- 动态扩容。新增加一个节点后，可以把部分 vBucket 转移到新节点上，并更新 vBucket 映射表。
vBucket 非常重要，以后可以单独写一篇文章分享。
总结
- Couchbase 的对等网设计，smart client 直接获取整的集群的信息，在客户端实现负载均衡，整个集群没有单点失效，并且完全支持平行扩展。
- vBucket 的引入，完全实现了 auto sharding，可以方便灵活的把数据的子集在不同节点上移动，以实现集群动态管理。
- Couchbase 有一个非常专业的 web 管理界面，并且支持通过 RESTful API 管理，这也是 memcached, redis 不能企及的。
- 如果只是做 key/value 的 cache，Couchbase 可以完全取代 memcached。
- Couchbase 已经被我们在生产环境中大量采用。
概述
motan是一套高性能、易于使用的分布式远程服务调用(RPC)框架。
功能
支持通过spring配置方式集成，无需额外编写代码即可为服务提供分布式调用能力。
支持集成consul、zookeeper等配置服务组件，提供集群环境的服务发现及治理能力。
支持动态自定义负载均衡、跨机房流量调整等高级服务调度能力。
基于高并发、高负载场景进行优化，保障生产环境下RPC服务高可用。
文档索引
HTTPCLIENT请求基于NETTY的HTTP服务器，NETTY生成相关的HTTPREQUEST、HTTPRESPONSE，调用SPRING 的DISPATCHSERVLET.SERVICE，将HTTPRESPONSE生成二进制字节，返回HTTPCLIENT。DISPATCHSERVLET同时会调用SPRING的CONTROLLER干活，即以前的SPRING MVC那套可以保留。
缺点：
nginx+tomcat与netty优缺点
http://www.oschina.net/question/1765708_158026我的架构最开始是 nginx +
[netty (tcp) 
] 用nginx做负载均衡。后来分布式接口变成了http restful -> nginx +
[netty(http) ]于是参考了netty的官方http例子，开始移植代码，其实移植量不大，只需要把原来的tpc handler里面的逻辑放到http handler里面就可以了。本以为ok了，测试才发现了大量的问题，其实问题本身是由于对http基础掌握的还不够透彻，比如keep-alive属性，这个平时基本不用的东西，当你要自己开发http server时，变的很有用，你不能每次都close channel.你要化很多时间了解header里面每个字段的意思，然后去实现它。再比如一个post请求，你要自己写代码从body里面读数据，解码等。
最终我放弃了netty,回到了tomcat.应为tomcat把http的一切都帮你搞定了。
最终的架构是 nginx +
[tomcat(http) ]tomcat就是针对http层的，所以我建议http还是选择tomcat(或者其他成熟的http-server)，并不是说netty不好，而是你的选择问题，netty是一个网络组件，tcp,udp,http都可以弄，但是官方文档都是些hello wolrd级别的。如果你非常了解http结构，完全可以基于netty搞出一个比tomcat牛的http server.
如果做tcp开发，netty不二之选！
dubboss是一个分布式REST服务的框架,实现了如下功能:
- 基于dubbo的RPC
- 基于netty的应用服务器
- 基于springmvc的REST调用
- 基于ngnix的负载均衡
https://github.com/leiguorui/dubboss
摘要: 安装第一台tigase服务器安装tigase服务器所需环境。[root@tigase3~]# yum install java-1.7.0-openjdk.x86_64 java-1.7.0-openjdk-devel.x86_64下载tigase服务器软件包。[root@tigase3tmp]#wget https://projects.tigase.org/attachments/d...
阅读全文