BlogJava-专注电子商务-随笔分类-底层架构

Hadoop-详解

陈睿 — Fri, 30 Mar 2012 02:14:00 GMT

之前有接触过hadoop，但都比较浅显，对立面的东东不是很清楚！
打算后面在hadoop上花时间把里面的内容，好好学学，这篇博客将在后面陆续更新hadoop学习笔记。

陈睿 2012-03-30 10:14 发表评论

底层架构-远程通讯-Mina

陈睿 — Thu, 15 Mar 2012 06:49:00 GMT

一：Mina概要
Apache Mina是一个能够帮助用户开发高性能和高伸缩性网络应用程序的框架。它通过Java nio技术基于TCP/IP和UDP/IP协议提供了抽象的、事件驱动的、异步的API。

如下的特性：

1、基于Java nio的TCP/IP和UDP/IP实现

基于RXTX的串口通信（RS232）

VM 通道通信

2、通过filter接口实现扩展，类似于Servlet filters

3、low-level（底层）和high-level（高级封装）的api：

low-level：使用ByteBuffers

High-level：使用自定义的消息对象和解码器

4、Highly customizable（易用的）线程模式（MINA2.0 已经禁用线程模型了）：

单线程

线程池

多个线程池

5、基于java5 SSLEngine的SSL、TLS、StartTLS支持

6、负载平衡

7、使用mock进行单元测试

8、jmx整合

9、基于StreamIoHandler的流式I/O支持

10、IOC容器的整合：Spring、PicoContainer

11、平滑迁移到Netty平台

二：实践
首先讲一下客户端的通信过程：

1.通过SocketConnector同服务器端建立连接

2.链接建立之后I/O的读写交给了I/O Processor线程，I/O Processor是多线程的

3.通过I/O Processor读取的数据经过IoFilterChain里所有配置的IoFilter，IoFilter进行消息的过滤，格式的转换，在这个层面可以制定一些自定义的协议

4.最后IoFilter将数据交给Handler进行业务处理，完成了整个读取的过程

5.写入过程也是类似，只是刚好倒过来，通过IoSession.write写出数据，然后Handler进行写入的业务处理，处理完成后交给IoFilterChain，进行消息过滤和协议的转换，最后通过I/O Processor将数据写出到socket通道

IoFilterChain作为消息过滤链

1.读取的时候是从低级协议到高级协议的过程，一般来说从byte字节逐渐转换成业务对象的过程

2.写入的时候一般是从业务对象到字节byte的过程

IoSession贯穿整个通信过程的始终

客户端通信过程

1.创建服务器
package com.gewara.web.module.base;

import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.charset.Charset;

import org.apache.mina.core.service.IoAcceptor;
import org.apache.mina.filter.codec.ProtocolCodecFilter;
import org.apache.mina.filter.codec.textline.TextLineCodecFactory;
import org.apache.mina.filter.logging.LoggingFilter;
import org.apache.mina.transport.socket.nio.NioSocketAcceptor;

/**
* Mina服务器
*
* @author mike
*
* @since 2012-3-15
*/
public class HelloServer {

        private static final int PORT = 8901;// 定义监听端口

        public static void main(String[] args) throws IOException{
            // 创建服务端监控线程
            IoAcceptor acceptor = new NioSocketAcceptor();

            // 设置日志记录器
            acceptor.getFilterChain().addLast("logger", new LoggingFilter());

            // 设置编码过滤器
            acceptor.getFilterChain().addLast("codec",new ProtocolCodecFilter(new TextLineCodecFactory(Charset.forName("UTF-8"))));

            // 指定业务逻辑处理器
            acceptor.setHandler(new HelloServerHandler());

            // 设置端口号
            acceptor.setDefaultLocalAddress(new InetSocketAddress(PORT));

            // 启动监听线程
            acceptor.bind();
        }
}

2.创建服务器端业务逻辑

package com.gewara.web.module.base;

import org.apache.mina.core.service.IoHandlerAdapter;
import org.apache.mina.core.session.IoSession;

/**
* 服务器端业务逻辑
*
* @author mike
*
* @since 2012-3-15
*/
public class HelloServerHandler extends IoHandlerAdapter {
         @Override
        /**
         * 连接创建事件
         */
        public void sessionCreated(IoSession session){
            // 显示客户端的ip和端口
            System.out.println(session.getRemoteAddress().toString());
        }

        @Override
        /**
         * 消息接收事件
         */
        public void messageReceived(IoSession session, Object message) throws Exception{
            String str = message.toString();
            if (str.trim().equalsIgnoreCase("quit")){
                // 结束会话
                session.close(true);
                return;
            }

            // 返回消息字符串
            session.write("Hi Client!");
            // 打印客户端传来的消息内容
            System.out.println("Message written" + str);
        }
}

3.创建客户端
package com.gewara.web.module.base;

import java.net.InetSocketAddress;
import java.nio.charset.Charset;

import org.apache.mina.core.future.ConnectFuture;
import org.apache.mina.filter.codec.ProtocolCodecFilter;
import org.apache.mina.filter.codec.textline.TextLineCodecFactory;
import org.apache.mina.filter.logging.LoggingFilter;
import org.apache.mina.transport.socket.nio.NioSocketConnector;

/**
* Mina客户端
*
* @author mike
*
* @since 2012-3-15
*/
public class HelloClient {
       public static void main(String[] args){
            // 创建客户端连接器.
            NioSocketConnector connector = new NioSocketConnector();

            // 设置日志记录器
            connector.getFilterChain().addLast("logger", new LoggingFilter());

            // 设置编码过滤器
            connector.getFilterChain().addLast("codec",
                    new ProtocolCodecFilter(new TextLineCodecFactory(Charset.forName("UTF-8"))));

            // 设置连接超时检查时间
            connector.setConnectTimeoutCheckInterval(30);

            // 设置事件处理器
            connector.setHandler(new HelloClientHandler());

            // 建立连接
            ConnectFuture cf = connector.connect(new InetSocketAddress("192.168.2.89", 8901));

            // 等待连接创建完成
            cf.awaitUninterruptibly();

            // 发送消息
            cf.getSession().write("Hi Server!");

            // 发送消息
            cf.getSession().write("quit");

            // 等待连接断开
            cf.getSession().getCloseFuture().awaitUninterruptibly();

            // 释放连接
            connector.dispose();
        }
}

4.客户端业务逻辑

package com.gewara.web.module.base;

import org.apache.mina.core.service.IoHandlerAdapter;
import org.apache.mina.core.session.IoSession;

public class HelloClientHandler extends IoHandlerAdapter {
        @Override
        /**
         * 消息接收事件
         */
        public void messageReceived(IoSession session, Object message) throws Exception{
            //显示接收到的消息
            System.out.println("server message:"+message.toString());
        }
}

5.先启动服务器端，然后启动客户端

2012-03-15 14:45:41,456  INFO  logging.LoggingFilter - CREATED
/192.168.2.89:2691
2012-03-15 14:45:41,456  INFO  logging.LoggingFilter - OPENED
2012-03-15 14:45:41,487  INFO  logging.LoggingFilter - RECEIVED: HeapBuffer[pos=0 lim=11 cap=2048: 48 69 20 53 65 72 76 65 72 21 0A]
2012-03-15 14:45:41,487  DEBUG codec.ProtocolCodecFilter - Processing a MESSAGE_RECEIVED for session 1
Message writtenHi Server!
2012-03-15 14:45:41,487  INFO  logging.LoggingFilter - SENT: HeapBuffer[pos=0 lim=0 cap=0: empty]
2012-03-15 14:45:41,487  INFO  logging.LoggingFilter - RECEIVED: HeapBuffer[pos=0 lim=5 cap=2048: 71 75 69 74 0A]
2012-03-15 14:45:41,487  DEBUG codec.ProtocolCodecFilter - Processing a MESSAGE_RECEIVED for session 1
2012-03-15 14:45:41,487  INFO  logging.LoggingFilter - CLOSED

三:分析源码
1.首先看服务器

  // 创建服务端监控线程
            IoAcceptor acceptor = new NioSocketAcceptor();

            // 设置日志记录器
            acceptor.getFilterChain().addLast("logger", new LoggingFilter());

            // 设置编码过滤器
            acceptor.getFilterChain().addLast("codec",new ProtocolCodecFilter(new TextLineCodecFactory(Charset.forName("UTF-8"))));

            // 指定业务逻辑处理器
            acceptor.setHandler(new HelloServerHandler());

            // 设置端口号
            acceptor.setDefaultLocalAddress(new InetSocketAddress(PORT));

            // 启动监听线程
            acceptor.bind();

1)先创建NioSocketAcceptor nio的接收器，谈到Socket就要说到Reactor模式
当前分布式计算　Web Services盛行天下，这些网络服务的底层都离不开对socket的操作。他们都有一个共同的结构：
1. Read request
2. Decode request
3. Process service
4. Encode reply
5. Send reply

但这种模式在用户负载增加时，性能将下降非常的快。我们需要重新寻找一个新的方案，保持数据处理的流畅，很显然，事件触发机制是最好的解决办法，当有事件发生时，会触动handler,然后开始数据的处理。
Reactor模式类似于AWT中的Event处理。

Reactor模式参与者

1.Reactor 负责响应IO事件，一旦发生，广播发送给相应的Handler去处理,这类似于AWT的thread
2.Handler 是负责非堵塞行为，类似于AWT ActionListeners；同时负责将handlers与event事件绑定，类似于AWT addActionListener

并发系统常采用reactor模式，简称观察者模式，代替常用的多线程处理方式，利用有限的系统的资源，提高系统的吞吐量。

可以看一下这篇文章，讲解的很生动具体，一看就明白reactor模式的好处http://daimojingdeyu.iteye.com/blog/828696
Reactor模式是编写高性能网络服务器的必备技术之一，它具有如下的优点：
    1）响应快，不必为单个同步时间所阻塞，虽然Reactor本身依然是同步的；
    2）编程相对简单，可以最大程度的避免复杂的多线程及同步问题，并且避免了多线程/进程的切换开销；
    3）可扩展性，可以方便的通过增加Reactor实例个数来充分利用CPU资源；
    4）可复用性，reactor框架本身与具体事件处理逻辑无关，具有很高的复用性；

2)其次，再说说NIO的基本原理和使用
  NIO 有一个主要的类Selector,这个类似一个观察者，只要我们把需要探知的socketchannel告诉Selector,我们接着做别的事情，当有事件发生时，他会通知我们，传回一组 SelectionKey,我们读取这些Key,就会获得我们刚刚注册过的socketchannel,然后，我们从这个Channel中读取数据，放心，包准能够读到，接着我们可以处理这些数据。

　　Selector内部原理实际是在做一个对所注册的channel的轮询访问，不断的轮询(目前就这一个算法)，一旦轮询到一个channel有所注册的事情发生，比如数据来了，他就会站起来报告，交出一把钥匙，让我们通过这把钥匙(SelectionKey表示 SelectableChannel 在 Selector 中的注册的标记。 )来读取这个channel的内容。

陈睿 2012-03-15 14:49 发表评论

底层架构-远程通讯

陈睿 — Mon, 12 Mar 2012 01:57:00 GMT

一：基本原理
主要是要实现网络之间的通讯，网络通信需要做的就是将流从一台计算机传输到另外一台计算机，基于传输协议和网络IO来实现，其中传输协议比较出名的有http、 tcp、udp等等，http、tcp、udp都是在基于Socket概念上为某类应用场景而扩展出的传输协议，网络IO，主要有bio、nio、aio 三种方式，所有的分布式应用通讯都基于这个原理而实现。

二：实践

在分布式服务框架中，一个最基础的问题就是远程服务是怎么通讯的，在Java领域中有很多可实现远程通讯的技术:RMI、MINA、ESB、Burlap、Hessian、SOAP、EJB和JMS
既然引入出了这么多技术，那我们就顺道深入挖掘下去，了解每个技术框架背后的东西：
1.首先看RMI
RMI主要包含如下内容：

远程服务的接口定义

      ·远程服务接口的具体实现
      ·桩（Stub）和框架（Skeleton）文件
      ·一个运行远程服务的服务器
      ·一个RMI命名服务，它允许客户端去发现这个远程服务
      ·类文件的提供者（一个HTTP或者FTP服务器）
      ·一个需要这个远程服务的客户端程序

  来看下基于RMI的一次完整的远程通信过程的原理：

1)客户端发起请求，请求转交至RMI客户端的stub类；

2)stub类将请求的接口、方法、参数等信息进行序列化；

3)基于tcp/ip将序列化后的流传输至服务器端；

4)服务器端接收到流后转发至相应的skelton类；

5)skelton类将请求的信息反序列化后调用实际的处理类；

6)处理类处理完毕后将结果返回给skelton类；

7)Skelton类将结果序列化，通过tcp/ip将流传送给客户端的stub；

8)stub在接收到流后反序列化，将反序列化后的Java Object返回给调用者。

RMI应用级协议内容：

1、传输的标准格式是什么？
是Java ObjectStream。
2、怎么样将请求转化为传输的流？
基于Java串行化机制将请求的java object信息转化为流。
3、怎么接收和处理流？
根据采用的协议启动相应的监听端口，当有流进入后基于Java串行化机制将流进行反序列化，并根据RMI协议获取到相应的处理对象信息，进行调用并处理，处理完毕后的结果同样基于java串行化机制进行返回。
4、传输协议是？
tcp/ip。

原理讲了，开始实践：
创建RMI程序的6个步骤：
1、定义一个远程接口的接口，该接口中的每一个方法必须声明它将产生一个RemoteException异常。
2、定义一个实现该接口的类。
3、使用RMIC程序生成远程实现所需的残根和框架。
4、创建一个服务器，用于发布2中写好的类。
5. 创建一个客户程序进行RMI调用。
6、启动rmiRegistry并运行自己的远程服务器和客户程序

1）首先创建远程接口：
/**

* 远程接口
*
* @author mike
*
* @since 2012-3-14
*/
public interface Hello extends Remote {
    /**
     * 测试rmi
     *
     * @return   hello
     * @throws RemoteException
     */
    public String hello()throws RemoteException;
}

2）创建接口实现
package com.gewara.rmi;

import java.rmi.RemoteException;
import java.rmi.server.UnicastRemoteObject;

/**
* 远程接口实现
*
* @author mike
*
* @since 2012-3-14
*/
public class HelloImpl extends UnicastRemoteObject implements Hello {

    /**
     * seria id
     */
    private static final long serialVersionUID = -7931720891757437009L;

    protected HelloImpl() throws RemoteException {
        super();
    }

    /**
     * hello实现
     *
     * @return hello world
     * @throws RemoteException
     */
    public String hello() throws RemoteException {
        return "hello world";
    }

}

3)创建服务器端
package com.gewara.rmi;

import java.rmi.Naming;
import java.rmi.registry.LocateRegistry;

public class Server {

    private static final String RMI_URL="rmi://192.168.2.89:10009/server";

    /**
     * RMI Server
     */
    public Server() {
        try {
            //创建远程对象
            Hello hello=new HelloImpl();

            //启动注册表
            LocateRegistry.createRegistry(10009);

            //将名称绑定到对象
            Naming.bind(RMI_URL, hello);

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * @param args
     */
    public static void main(String[] args) {
        new Server();

    }

}

4)创建客服端
package com.gewara.rmi;

import java.rmi.Naming;

public class Client {

    private static final String RMI_URL="rmi://192.168.2.89:10009/server";
    /**
     * @param args
     */
    public static void main(String[] args) {
         try {
                   String result=((Hello)Naming.lookup(RMI_URL)).hello();
                System.out.println(result);
            } catch (Exception e) {
                e.printStackTrace();
            }
    }

}

5)先启动服务器端，然后再启动客户端
显示结果：hello world

由于涉及到的内容比较多，打算每一篇里讲一个远程通讯框架，继续详解RMI

三：详解RMI内部原理
1. RMI基本结构：包含两个独立的程序，服务器和客户端，服务器创建多个远程对象，让远程对象能够被引用，等待客户端调用这些远程对象的方法。客户端从服务器获取到一个或则多个远程对象的引用，然后调用远程对象方法，主要涉及到RMI接口、回调等技术。

2.RMI回调：服务器提供远程对象引用供客户端调用，客户端主动调用服务器，如果服务器主动打算调用客户端，这就叫回调。

3.命名远程对象：客户端通过一个命名或则一个查找服务找到远程服务，远程服务包含Java的命名和查找接口(Java Naming and Directory Interface)JNDI
RMI提供了一种服务:RMI注册rmiregistry,默认端口：1099，主机提供远程服务，接受服务，启动注册服务的命令：start rmiregistry
客户端使用一个静态类Naming到达RMI注册处，通过方法lookup()方法，客户来询问注册。

陈睿 2012-03-12 09:57 发表评论