paulwong

#

Disruptor

一个ring buffer实现多线程通信。由于他们之间通信不需要锁所以性能有很大的提高。

Disruptor更多的应用在高速事务中，利用JVM的伪内存，这也可能是它为LMAX而生的，和akka的应用场景不一样。

一般编写并发应用程序马上想到多线程或者多进程。但多线程需要处理资源竞争，共享访问等问题，搞不好容易出现死锁，当程序规模比较大时，排查难度很大。 Actor模型提供了另一种编写并发应用程序的思路。 有点类似Node.JS的基于事件异步处理. （其实我觉得基于消息异步和基于事件异步是一回事）

什么是基于消息异步呢？很简单，比如要开展一个项目，需要多人协作。作为项目经理的你，只需要像手下发出命令，个人各干各的，互不干扰。做完了就回送一个消息给项目经理，项目经理再分派新的任务. （可能比喻得不恰当，但Actor的基本思路就是这样，你不需要考虑资源共享和线程并发什么的, Actor库屏蔽了这些底层的实现细节 . 每个Actor就相当于一个人或者叫一个处理者，他们的职责很单一，就是响应对方发来的消息，做出响应，并回送一个响应消息。 每个Actor负责做自己的份内事，最后有一个调度角色的Actor将所有Actor管理起来,形成一个整体）

Akka 是针对Scala和Java的Actor库，JActor是一个用纯Java编写的Actor库。 

https://github.com/LMAX-Exchange/disruptor
http://www.oschina.net/p/disruptor

posted @ 2016-06-05 18:19 paulwong 阅读(749) | 评论 (0) | 编辑 收藏

JPA概要

1 JPA概述

JPA（Java Persistence API，Java持久化API），定义了对象-关系映射（ORM）以及实体对象持久化的标准接口。

JPA是JSR-220（EJB3.0）规范的一部分，在JSR-220中规定实体对象（EntityBean）由JPA进行支持。

所以JPA不局限于EJB3.0，而是作为POJO持久化的标准规范，可以脱离容器独立运行，开发和测试更加方便。

JPA在应用中的位置如下图所示：

 

JPA维护一个Persistence Context（持久化上下文），在持久化上下文中维护实体的生命周期。主要包含三个方面的内容：

  1. ORM元数据。JPA支持annotion或xml两种形式描述对象-关系映射。
  2. 实体操作API。实现对实体对象的CRUD操作。
  3. 查询语言。约定了面向对象的查询语言JPQL（Java Persistence Query Language）。

JPA的主要API都定义在javax.persistence包中。如果你熟悉Hibernate，可以很容易做出对应：

 
org.hibernatejavax.persistence说明
cfg.ConfigurationPersistence读取配置信息
SessionFactoryEntityManagerFactory用于创建会话/实体管理器的工厂类
SessionEntityManager提供实体操作API，管理事务，创建查询
TransactionEntityTransaction管理事务
QueryQuery执行查询

2 实体生命周期

实体生命周期是JPA中非常重要的概念，描述了实体对象从创建到受控、从删除到游离的状态变换。对实体的操作主要就是改变实体的状态。

JPA中实体的生命周期如下图：

  1. New，新创建的实体对象，没有主键(identity)值
  2. Managed，对象处于Persistence Context(持久化上下文）中，被EntityManager管理
  3. Detached，对象已经游离到Persistence Context之外，进入Application Domain
  4. Removed, 实体对象被删除

EntityManager提供一系列的方法管理实体对象的生命周期，包括：

  1. persist, 将新创建的或已删除的实体转变为Managed状态，数据存入数据库。
  2. remove，删除受控实体
  3. merge，将游离实体转变为Managed状态，数据存入数据库。

如果使用了事务管理，则事务的commit/rollback也会改变实体的状态。

3 实体关系映射（ORM）

3.1 基本映射

 
对象端数据库端annotion可选annotion
ClassTable@Entity@Table(name="tablename")
propertycolumn–@Column(name = "columnname")
propertyprimary key@Id@GeneratedValue 详见ID生成策略
propertyNONE@Transient 

3.2 ID生成策略

ID对应数据库表的主键，是保证唯一性的重要属性。JPA提供了以下几种ID生成策略

  1. GeneratorType.AUTO ，由JPA自动生成
  2. GenerationType.IDENTITY，使用数据库的自增长字段，需要数据库的支持（如SQL Server、MySQL、DB2、Derby等）
  3. GenerationType.SEQUENCE，使用数据库的序列号，需要数据库的支持（如Oracle）
  4. GenerationType.TABLE，使用指定的数据库表记录ID的增长 需要定义一个TableGenerator，在@GeneratedValue中引用。例如：

    @TableGenerator( name="myGenerator", table="GENERATORTABLE", pkColumnName = "ENTITYNAME", pkColumnValue="MyEntity", valueColumnName = "PKVALUE", allocationSize=1 )

    @GeneratedValue(strategy = GenerationType.TABLE,generator="myGenerator")

3.3 关联关系

JPA定义了one-to-one、one-to-many、many-to-one、many-to-many 4种关系。

对于数据库来说，通常在一个表中记录对另一个表的外键关联；对应到实体对象，持有关联数据的一方称为owning-side，另一方称为inverse-side。

为了编程的方便，我们经常会希望在inverse-side也能引用到owning-side的对象，此时就构建了双向关联关系。 在双向关联中，需要在inverse-side定义mappedBy属性，以指明在owning-side是哪一个属性持有的关联数据。

对关联关系映射的要点如下：

 
关系类型Owning-SideInverse-Side
one-to-one@OneToOne@OneToOne(mappedBy="othersideName")
one-to-many / many-to-one@ManyToOne@OneToMany(mappedBy="xxx")
many-to-many@ManyToMany@ManyToMany(mappedBy ="xxx")

其中 many-to-many关系的owning-side可以使用@JoinTable声明自定义关联表，比如Book和Author之间的关联表：

@JoinTable(name = "BOOKAUTHOR", joinColumns = { @JoinColumn(name = "BOOKID", referencedColumnName = "id") }, inverseJoinColumns = { @JoinColumn(name = "AUTHORID", referencedColumnName = "id") })

关联关系还可以定制延迟加载和级联操作的行为（owning-side和inverse-side可以分别设置）：

通过设置fetch=FetchType.LAZY 或 fetch=FetchType.EAGER来决定关联对象是延迟加载或立即加载。

通过设置cascade={options}可以设置级联操作的行为，其中options可以是以下组合：

  • CascadeType.MERGE 级联更新
  • CascadeType.PERSIST 级联保存
  • CascadeType.REFRESH 级联刷新
  • CascadeType.REMOVE 级联删除
  • CascadeType.ALL 级联上述4种操作

3.4 继承关系

JPA通过在父类增加@Inheritance(strategy=InheritanceType.xxx)来声明继承关系。A支持3种继承策略：

  1. 单表继承（InheritanceType.SINGLETABLE），所有继承树上的类共用一张表，在父类指定（@DiscriminatorColumn）声明并在每个类指定@DiscriminatorValue来区分类型。
  2. 类表继承（InheritanceType.JOINED），父子类共同的部分公用一张表，其余部分保存到各自的表，通过join进行关联。
  3. 具体表继承（InheritanceType.TABLEPERCLASS)，每个具体类映射到自己的表。

其中1和2能够支持多态，但是1需要允许字段为NULL，2需要多个JOIN关系；3最适合关系数据库，对多态支持不好。具体应用时根据需要取舍。

4 事件及监听

通过在实体的方法上标注@PrePersist，@PostPersist等声明即可在事件发生时触发这些方法。

5 Query Language 查询语言

JPA提供两种查询方式，一种是根据主键查询，使用EntityManager的find方法：

T find(Class entityClass, Object primaryKey)

另一种就是使用JPQL查询语言。JPQL是完全面向对象的，具备继承、多态和关联等特性，和hibernate HQL很相似。

使用EntityManager的createQuery方法：

Query createQuery(String qlString)

5.1 使用参数

可以在JPQL语句中使用参数。JPQL支持命名参数和位置参数两种参数，但是在一条JPQL语句中所有的参数只能使用同一种类型。

举例如下：

  • 命令参数

Query query = em.createQuery("select p from Person p where p.personid=:Id"); query.setParameter("Id",new Integer(1));

  • 位置参数

Query query = em.createQuery("select p from Person p where p.personid=?1"); query.setParameter(1,new Integer(1));

5.2 命名查询

如果某个JPQL语句需要在多个地方使用，还可以使用@NamedQuery 或者 @NamedQueries在实体对象上预定义命名查询。

在需要调用的地方只要引用该查询的名字即可。

例如：

@NamedQuery(name="getPerson", query= "FROM Person WHERE personid=?1")

@NamedQueries({ @NamedQuery(name="getPerson1", query= "FROM Person WHERE personid=?1"), @NamedQuery(name="getPersonList", query= "FROM Person WHERE age>?1") })

Query query = em.createNamedQuery("getPerson");

5.3 排序

JPQL也支持排序，类似于SQL中的语法。例如： Query query = em.createQuery("select p from Person p order by p.age, p.birthday desc");

5.4 聚合查询

JPQL支持AVG、SUM、COUNT、MAX、MIN五个聚合函数。例如：

Query query = em.createQuery("select max(p.age) from Person p"); Object result = query.getSingleResult(); String maxAge = result.toString();

5.5 更新和删除

JPQL不仅用于查询，还可以用于批量更新和删除。

如：

Query query = em.createQuery("update Order as o set o.amount=o.amount+10"); //update 的记录数 int result = query.executeUpdate();

Query query = em.createQuery("delete from OrderItem item where item.order in(from Order as o where o.amount<100)"); query.executeUpdate();

query = em.createQuery("delete from Order as o where o.amount<100"); query.executeUpdate();//delete的记录数

5.6 更多

与SQL类似，JPQL还涉及到更多的语法，可以参考：http://docs.oracle.com/cd/E11035_01/kodo41/full/html/ejb3_langref.html

6 事务管理

JPA支持本地事务管理（RESOURCELOCAL）和容器事务管理（JTA），容器事务管理只能用在EJB/Web容器环境中。

事务管理的类型可以在persistence.xml文件中的“transaction-type”元素配置。

JPA中通过EntityManager的getTransaction()方法获取事务的实例（EntityTransaction），之后可以调用事务的begin()、commit()、rollback()方法。

Date: 2012-12-30 16:46:29 CST

Author: Holbrook

Org version 7.8.11 with Emacs version 24

posted @ 2016-06-04 16:08 paulwong 阅读(570) | 评论 (0) | 编辑 收藏

IM资源

kafka-examples视频上的例子
https://github.com/gwenshap/kafka-examples

zer0MQTTServer
https://github.com/zer0Black/zer0MQTTServer
http://www.w2bc.com/Article/85741

moquette
https://github.com/andsel/moquette

融云 Blog
http://www.rongcloud.cn/pricing

EMQTT
http://emqtt.com/docs

群聊天系统，高吞吐量，高转发量，后端什么架构？
http://www.v2ex.com/t/92125

用Java实现一个IM的server端需要熟悉哪些技术点或框架？
http://www.zhihu.com/question/37090498

使用Java API创建（create），查看（describe），列举（list），删除（delete）Kafka主题（Topic）--转载
http://www.cnblogs.com/davidwang456/p/4313784.html

kafka中文教程
http://orchome.com/3

Kafka入门经典教程
http://www.open-open.com/lib/view/open1455842076964.html

Kafka深度解析
http://www.open-open.com/lib/view/open1457055194765.html

大型网站架构系列：分布式消息队列（一）
http://www.open-open.com/lib/view/open1453645976605.html



posted @ 2016-05-23 22:03 paulwong 阅读(545) | 评论 (0) | 编辑 收藏

Eclipse使用git最简易流程

git有诸多好处，网上都说的很清楚了，在这里我不再赘述。对于我来说，私下里想做一些项目，而又不能很好的保存自己的代码和进行版本控制，这时候，就用到了git。下面，就以我个人为例讲讲git从0开始如何安装使用。

Step1 准备工作

msysgit，下载地址为http://msysgit.github.io/。

Eclipse IDE for Java EE Developers（必须是这个，自带Egit，或者自行安装Egit插件），在Eclipse官网下载，地址http://www.eclipse.org/downloads/。

github账号，github官网注册一个，地址https://github.com/。

廖雪峰的git教程，地址为http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000，讲得很好，我大概花了3个晚上的时间看，如果仅仅是为了安装上，可以先暂时略过，后面再看。

Step2 msysgit安装

一路next就行，注意可能会遇到360的拦截（该死，点击允许本程序所有操作或者安装前就退出360即可）。

Step3 git用户名和邮箱配置

单击开始菜单，打开Git Bush，

教程1

 

输入以下命令

git config --global user.name "Your Name"

git config --global user.email email@example.com

用户名和邮箱替换为自己的，为本台机器所有仓库指定用户名和email地址。

 

Step4 创建SSH Key

因为本地git仓库和远程的github仓库之间是通过ssh加密的，所以，还需要创建一个SSH Key。

输入以下命令

ssh-keygen -t rsa -C youremail@example.com

同样将邮箱替换为自己的。在路径C盘->用户->用户名，找到.ssh文件夹，打开就可以看到两个文件id_rsa和id_rsa.pub，

打开id_rsa.pub，将其中的内容复制下来（这就相当于一把钥匙，持有钥匙的人可以访问你的内容，下一个小结讲解这把钥匙的用途），下面是我的

教程2

 

Step5 与github上的仓库相关联

注册一个github账号

注册完成之后，点击右上角的settings（就是那个齿轮，设置的图标）

教程3

 

进入设置页面

image

选SSH Keys，点击add SSH key，就可以添加了，title随便填写，将从id_rsa.pub中复制的内容粘贴到这里。从此，gitgub仓库就能够识别你本地的仓库了。也就是说，你离将本地代码推送到github上，或者将github上的代码克隆到本地，就只差一步了。（可参考廖雪峰前辈的教程先进行在非Eclipse下的操作，更有感觉）

 

Step6 Egit的使用

首先，登入你的github账号，点击加号，选择New repositrory，创建一个新的仓库，如图所示。

教程6

名字叫做test2，其他都默认就好。

点击绿色按钮创建，就创建好了一个github仓库。

教程7

将地址复制下来，保存好备用。

 

打开Eclipse，像平常一样，新建一个web工程，或者其他你常用的工程。我这里工程叫做scott

{4$7`FVS]283EW(~80FR(JT

右击项目，选择Team->Share Project，弹出如下窗口。

image

选择git，next，在弹出的界面上，①先勾选Use or create……，②createrepository，③勾选工程，④finish。

教程8

这时候，你就创建好了一个git工程，右击工程，选择Team，你可以像svn一样进行commit，synchronize等操作，但是，remote操作中，push是灰色的，表示还不能将代码推送到github仓库上去。

教程10

这时，打开Git Repository视图（具体怎么打开百度去，这都是基本常识了）

教程11

右键选择Create Remote，点OK

image

点击Change，弹出如下界面

image

URI输入之前在github上拷贝的地址，下面的内容会自动填上。你只需要再填上github上的用户名和密码即可。finish，save。

接下来的几步就简单了，在项目里面随便写点代码，然后先将新增的代码提交到本地，例如，将cat类，先add to index，然后commit。这时候，右键工程，Team->remote中就有了push选项，意味着你可以将本地代码保存在github中了。祝贺你！

教程12

点击Push，点击add All Branches Spec，将本地版本库添加，然后Finish，后面一路Next，再次查看github，可以看到代码已经成功推送。

最后，看看我们在github上的代码吧！

作者： 张万帆 
欢迎任何形式的转载，但请务必注明出处。

posted @ 2016-05-15 18:17 paulwong 阅读(1281) | 评论 (0) | 编辑 收藏

Eclipse上安装GIT插件EGit及使用

一、Eclipse上安装GIT插件EGit

 

      Eclipse的版本eclipse-java-helios-SR2-win32.zip（在Eclipse3.3版本找不到对应的 EGit插件，无法安装）

 

     

 

 

 

EGit插件地址：http://download.eclipse.org/egit/updates

 

OK，随后连续下一步默认安装就可以，安装后进行重启Eclipse

 

二、在Eclipse中配置EGit

 

准备工作：需要在https://github.com 上注册账号

 

Preferences > Team > Git > Configuration

 

 

这里的user.name 是你在https://github.com上注册用户名

 

 

user.email是你在github上绑定的邮箱。在这里配置user.name即可

 

 

三、新建项目，并将代码提交到本地的GIT仓库中

 

1、新建项目 git_demo，并新建HelloWorld.java类

 

 

2、将git_demo项目提交到本地仓库，如下图

 

 

 

 

 

 

到此步，就成功创建GIT仓库。但文件夹处于untracked状态（文件夹中的符号”?”表示），下面我们需要提交代码到本地仓库，如下图

 

 

 

 

 

 

 

OK，这样代码提交到了本地仓库

 

 

四：将本地代码提交到远程的GIT仓库中

 

准备工作：在https://github.com上创建仓库

 

 

 

 

 

 

点击“Create repository” ，ok,这样在github上的仓库就创建好了。

 

注意创建好远程仓库后，点击进去，此时可以看到一个HTTP地址，如红线框，这个是你http协议的远程仓库地址

 

 

准备工作做好了，那开始将代码提交到远程仓库吧

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

OK，这样提交远程GIT就完成了，可以在https://github.com核对一下代码是否已经提交

 

 

注意的问题

   如果是首次提交会第一步：先在本地建立一个一样的仓库，称本地仓库。

          第二步：在本地进行commit操作将把更新提交到本地仓库；

          第三步： 将服务器端的更新pull到本地仓库进行合并，最后将合并好的本地仓库push到服务器端，这样就进行了一次远程提交。

 

  如果非首次提交同样的道理

          第一步：将修改的代码commit操作更新到本地仓库；

         第二步：第三步： 将服务器端的更新pull到本地仓库进行合并，最后将合并好的本地仓库push到服务器端

 

 

posted @ 2016-05-15 17:46 paulwong 阅读(543) | 评论 (0) | 编辑 收藏

排版六原则


作者： 阮一峰

日期： 2010年10月16日

上个月，我贴了《图形化简历》。

几天后，就收到了秋叶老师的来信，希望与我探讨一些设计问题。他写过一本畅销书《说服力-让你的PPT会说话》，眼下正在写续集。

我看了新书的样章，觉得很不错，有些内容很值得分享。

====================================

首先，我们先看一个例子。良好的设计如何使得一个平庸的文档脱胎换骨。下面是一张大学生的求职简历，再普通不过了，想要引起招聘经理的注意，恐怕很难。

秋叶老师对它进行了简单的排版，还是一张表格，还是黑白配色，没有使用任何图形元素，效果却完全不一样了。

真是令人眼前一亮，不由自主地想多看几眼。这就是优秀设计的作用：它让你脱颖而出。

====================================

秋叶老师把他的排版心得，总结为六个原则：对齐，聚拢，重复，对比，强调，留白。我是这样理解的：

一、对齐原则

　　相关内容必须对齐，次级标题必须缩进，方便读者视线快速移动，一眼看到最重要的信息。

二、聚拢原则

　　将内容分成几个区域，相关内容都聚在一个区域中。段间距应该大于段内的行距。

三、留白原则

　　千万不要把页面排得密密麻麻，要留出一定的空白，这本身就是对页面的分隔。这样既减少了页面的压迫感，又可以引导读者视线，突出重点内容。

四、降噪原则

　　颜色过多、字数过多、图形过繁，都是分散读者注意力的"噪音"。

五、重复原则

　　多页面排版时，注意各个页面设计上的一致性和连贯性。另外，在内容上，重要信息值得重复出现。

六、对比原则

　　加大不同元素的视觉差异。这样既增加了页面的活泼，又方便读者集中注意力阅读某一个子区域。

====================================

下面用一个PPT的例子，演示排版六原则。

上面这张ppt有两个毛病。一是字数太多，抓不住重点；二是右边没有对齐，使得读者的视线只能一行行地从行首到行尾移动，不能直上直下。

现在进行修改。

第一步，根据"聚拢原则"，将六点分成六个区域。

第二步，根据"降噪原则"，将每一点分成"小标题"和"说明文字"两部分。

第三步，根据"对齐原则"，将每一个部分、每一种元素对齐。

第四步，根据"对比原则"，加大"小标题"和"说明文字"在字体和颜色上的差异。

第五步，根据"留白原则"，留出一定的空白。

页面的可读性大大增加。

（完）

posted @ 2016-05-06 17:55 paulwong 阅读(428) | 评论 (0) | 编辑 收藏

MyThrift 0.0.1 发布，轻量级 RPC 服务框架

1）什么是MyThrift?

基于以下组件打造的一款轻量级RPC服务框架:thrift(facebook出品)、commons-pool(socket连接池)、自研服务治理框架(zookeeper).

2）为什么要写MyThrift?

2.1）提出问题：

    各种存储越来越多(redis,mysql,hdfs,hbase,mq)，

    让web开发人员自己访问存储，并保证性能，是一件高要求的事情。

    造成的结果就是软件开发进度缓慢，性能低下，各种bug.

2.2）分析问题：

    RPC框架：考虑到本人看过thrift的源码，尤其是针对网络模块非常熟悉，并在实际生产环境中使用过，thrift性能不错。

    TCP/IP：有过2年的TCP/IP报文分析经验，从链路层到应用层都很熟悉。

    ZooKeeper:在MySQL-Binlog项目中攒出了一些使用经验,同时积极吸收Motan,JACK,HArpc等兄弟软件的优秀理念部分。

    连接池：使用commons-pool连接池组件。

2.3）解决问题：

    糅合thrift,zookeeper,commons-pool打造一款轻量级、性能高、上手容易的rpc调用框架，

    使得架构师和后台开发人员可以将各种复杂存储的IO访问对外暴露为服务(其实就是跨机器的普通函数调用)

    这样web开发人员可以专注于业务逻辑，加速产品迭代,对企业带来的好处不用多说！

本次版本内容：

1）server端进行网络模型参数调优

2）client端有连接池

3）支持server注册多个thrift的处理器Processor

可用于集中式负载的服务化组件，达到生产环境级别，经历过生产环境的考验，可放心使用。

http://git.oschina.net/qiangzigege/MyThrift 

内附非常详细+多图预警的《MyThrift在线使用文档.md》，0基础轻松上手！

posted @ 2016-05-05 17:02 paulwong 阅读(1650) | 评论 (0) | 编辑 收藏

Couchbase介绍，更好的Cache系统

在移动互联网时代，我们面对的是更多的客户端，更低的请求延迟，这当然需要对数据做大量的 Cache 以提高读写速度。

术语

  • 节点：指集群里的一台服务器。

现有 Cache 系统的特点

目前业界使用得最多的 Cache 系统主要是 memcached 和 redis。 这两个 Cache 系统都有都有很大的用户群，可以说是比较成熟的解决方案，也是很多系统当然的选择。 不过，在使用 memcached 和 redis 过程中，还是碰到了不少的问题和局限：

  • Cluster 支持不够。在扩容、负载均衡、高可用等方面存在明显不足。
  • 持久化支持不好，出现问题后恢复的代价大。memcached 完全不支持持久化，redis 的持久化会造成系统间歇性的负载很高。

我期待的理想 Cache 系统

良好的 cluster 支持

  • Key 可以动态分散（Auto Sharding）在不同的服务器上，可以通过动态添加服务器节点增加系统容量。
  • 没有单点失效，任何一个单点都不会造成数据不可访问。
  • 读写负载可以均匀分布在系统的不同节点上。

支持异步持久化支持

  • 方便快速恢复，甚至可以直接用作 key/value 数据库。 经常在跟业界朋友交流时，会提到用 key 分段的方法来做容量扩展以及负载均衡。但是用静态的 key 分段会有不少问题：
  • Cache 系统本身及使用 cache 的客户端都需要预设一个分段逻辑，这个逻辑后期如果需要调整将会非常困难。不能解决单点失效的问题，还需要额外的手段。运维需要更多的人为参与，避免 key 超出现有分区，一旦出现 key 找不到对应服务器，访问直接失败。

最接近需求的系统：Couchbase

基于这些想法，我花了几天时间在 google, stack overflow, quora 上看了很多大家关于 cache cluster 的讨论，找到一个比较新系统 Couchbase。

mem vs cbmemcached VS couchbase

Couchbase 的集群设计对等网

Couchbase 群集所有点都是对等的，只是在创建群或者加入集群时需要指定一个主节点，一旦结点成功加入集群，所有的结点对等。

high_level_architecture

图片来源：couchbase.com

对等网的优点是，集群中的任何节点失效，集群对外提供服务完全不会中断，只是集群的容量受影响。 Smart Client

由于 couchbase 是对等网集群，所有的节点都可以同时对客户端提供服务，这就需要有方法把集群的节点信息暴露给客户端，couchbase 提供了一套机制，客户端可以获取所有节点的状态以及节点的变动，由客户端根据集群的当前状态计算 key 所在的位置。 vBucket

vBucket 概念的引入，是 couchbase 实现 auto sharding，在线动态增减节点的重要基础。

简单的解释 vBucket 可以从静态分片开始说起，静态分片的做法一般是用 key 算出一个 hash，得到对应的服务器，这个算法很简单，也容易理解。如以下代码所示：

servers = ['server1:11211', 'server2:11211', 'server3:11211'] server_for_key(key) = servers[hash(key) % servers.length]

但也有几个问题：

  • 如果一台服务器失效，会造成该分片的所有 key 失效。
  • 如果服务器容量不同，管理非常麻烦。
  • 前面提到过，运维、配置非常不方便。

为了把 key 跟服务器解耦合，couchbase 引入了 vBucket。可以说 vBucket 代表一个 cache 子集，主要特点：

  • key hash 对应一个 vBucket，不再直接对应服务器。
  • 集群维护一个全局的 vBucket 与服务器对应表。
  • 前面提到的 smart client 重要的功能就是同步 vBucket 表。

如以下代码所示：

servers = ['server1:11211', 'server2:11211', 'server3:11211'] vbuckets = [0, 0, 1, 1, 2, 2] server_for_key(key) = servers[vbuckets[hash(key) % vbuckets.length]]

vBucket

图片来源：http://dustin.sallings.org/2010/06/29/memcached-vbuckets.html

由于 vBucket 把 key 跟服务器的静态对应关系解耦合，基于 vBucket 可以实现一些非常强大有趣的功能，例如：

  • Replica，以 vBucket 为单位的主从备份。如果某个节点失效，只需要更新 vBucket 映射表，马上启用备份数据。
  • 动态扩容。新增加一个节点后，可以把部分 vBucket 转移到新节点上，并更新 vBucket 映射表。

vBucket 非常重要，以后可以单独写一篇文章分享。

总结

  • Couchbase 的对等网设计，smart client 直接获取整的集群的信息，在客户端实现负载均衡，整个集群没有单点失效，并且完全支持平行扩展。
  • vBucket 的引入，完全实现了 auto sharding，可以方便灵活的把数据的子集在不同节点上移动，以实现集群动态管理。
  • Couchbase 有一个非常专业的 web 管理界面，并且支持通过 RESTful API 管理，这也是 memcached, redis 不能企及的。
  • 如果只是做 key/value 的 cache，Couchbase 可以完全取代 memcached。
  • Couchbase 已经被我们在生产环境中大量采用。

posted @ 2016-05-04 15:00 paulwong 阅读(591) | 评论 (0) | 编辑 收藏

[转]巅峰对决 - 框架的性能比较

转自：http://colobu.com/2016/04/25/performance-comparison-of-frameworks/
这句话也可以应用在软件开发上，"无快不破"强调的是软件的性能。我陆陆续续写了多篇各种框架的文章，也在github上开了多个性能比较的开源项目，本文做一个汇总，以备将来的查找。

  1. 最快的web服务器
  2. 最快的并发框架
  3. 最快的RPC服务器
  4. 最快的websocket框架
  5. 最快的RESTful框架
  6. 最快的Go序列化框架
  7. 最快的Go web框架
  8. 最快的Java序列化框架

posted @ 2016-05-03 14:36 paulwong 阅读(563) | 评论 (0) | 编辑 收藏

轻量级 RPC 框架新浪微博的 motan

概述

motan是一套高性能、易于使用的分布式远程服务调用(RPC)框架。

功能

  • 支持通过spring配置方式集成，无需额外编写代码即可为服务提供分布式调用能力。

  • 支持集成consul、zookeeper等配置服务组件，提供集群环境的服务发现及治理能力。

  • 支持动态自定义负载均衡、跨机房流量调整等高级服务调度能力。

  • 基于高并发、高负载场景进行优化，保障生产环境下RPC服务高可用。

文档索引

posted @ 2016-04-25 14:22 paulwong 阅读(2096) | 评论 (1) | 编辑 收藏

仅列出标题
共116页: First 上一页 30 31 32 33 34 35 36 37 38 下一页 Last