caitong

caitong

  BlogJava :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理 ::
  12 随笔 :: 0 文章 :: 0 评论 :: 0 Trackbacks

2009年6月15日 #

先比较一下Hadoop。

Hadoop 架构:


Cache Pool 架构:


Cache Server和Hadoop的Data Node是相似的,Cache Manager和Name Node对应,不过也有很多差异:http://www.bt285.cn http://www.5a520.cn  
  • Cache Pool要承受大并发访问,且每条数据都非常小,因此不可能再做一个Name Node来保存元数据,而是使用Consistent Hashing完成数据定位。
  • Cache Pool数据量相对较小,一个集群几百GB左右,单台Cache Server只有4-16GB,迁移性能非常高,所以任何一个节点调整都会有1/N数据被迁移,容量约等于单台Server的容量。新增节点时迁移相对比较慢,有大量数据被从多个节点迁移到这个新节点上,迁移完成会并发删除旧服务器上的数据;删除节点则会引起多个节点间的并发数据迁移,迁移效率较高,同时可能会造成每台服务器上有约1/N数据被LRU淘汰。
  • Cache Manager只是个管理器,它只完成节点监控、Cache Server划分、数据迁移控制、同步配置等功能,所有数据访问都与它无关。它是由多台服务器组成的高可用性小集群,使用简单决策过程产生Master,其它服务器只作备用。为避免网络、电源等问题的冲击,Cache Manager设置为只对同时一个Cache节点宕机有权利自动化迁移,多台同时宕机时,会发出报警,需要管理员人工控制迁移。
posted @ 2009-06-17 19:41 caitong| 编辑 收藏

Java语言本身具有跨平台性,如果通过Java调用DLL的技术方便易用,使用Java开发前台界面可以更快速,也能带来跨平台性。

       Java调用C/C   写好的DLL库时,由于基本数据类型不同、使用字节序列可能有差异,所以在参数传递过程中容易出现问题。

   使用Java调用DLL动态链接库的方案通常有三种:JNI, Jawin, Jacob. 其中JNI(Java Native Interface)是Java语言本身提供的调用本地已编译的函数库的方法,本身具有跨平台性,可以在不同的机器上调用不同的本地库。Jawin和 Jacob都是sourceforge.net的开源项目,都是基于JNI技术的依赖Windows的实现,使得在Windows平台下使用COM和 DLL的更加方便。

   三、JNI

   sun相关文档:http://java.sun.com/j2se/1.5.0/docs/guide/jni/spec/jniTOC.html

  http://www.bt285.cn  或是 http://www.5a520.cn

   JNI的完整例子 :http://www.pconline.com.cn/pcedu/empolder/gj/java/0506/642328.html

   JNI的应用方案是基于Java类和本地函数相映射的。其使用DLL的步骤还是相对比较麻烦,不但涉及到Java编程,还涉及到C/C   编程。

   JNI的使用步骤是:

   1.编写Java类,用该类将DLL对外提供的函数服务进行声明,其中的Java方法均声明为native,其方法签名可以自定义,不用实现函数体。

   2.用Javah工具将该Java类生成对应的.h头文件。

   3.最重要的比较麻烦的一步:编写C/C   代码实现.h头文件中声明的函数,该C/C   代码中包含jni.h头文件,并且编写代码时使用其中定义好的数据类型作为函数的输入和返回数据类型进行编程。用这种方法实现数据类型转换。例如数据类型:boolean(java) à jboolean(jni.h: typedef unsigned char jboolean),在自己编写的C/C   代码中使用数据类型jboolean映射Java中的boolean类型。在该步骤中,可以在C/C   代码中调用已经存在的DLL库。

   4.另外编写的Java代码时就可以使用该Java类了。

   在第3步中,编写C/C   函数时,可以使用一个叫interface pointer的env指针来调用JNI提供的一系列(很多)函数,用这些函数来访问JVM的对象和数据。

   使用JNI的缺点:使用比较麻烦,需要对已有的DLL进行封装,需要对C/C   比较了解。

   使用JNI的优点:可以跨平台调用本地库。

   四、Jawin

   官方网站:http://jawinproject.sourceforge.net/

   官方文档(Jawin介绍): http://jawinproject.sourceforge.net/jawin.html

   官方文档(Jawin使用DLL):http://jawinproject.sourceforge.net/jawinuserguide_dll.html

   官方文档(Jawin数据指令): http://jawinproject.sourceforge.net/instruction_docs.html http://www.feng123.com

   Jawin的应用方案是基于函数调用时采用原始字节流传递数据的。就是在Java中指明一个DLL中的某个函数后,通过原始字节流(需要考虑参数数据类型所占的存储字节数及系统使用的字节序列)传递给该DLL函数需要的参数,其返回值也是通过原始字节流解析的方式获得正确的值。

   Jawin的使用步骤:

   1.环境配置:下载Jawin;Jawin.dll放入工程目录下;Jawin.jar相关jar文件加入到运行库中(LibPath或者Eclipse下配置工程的BuildPath-AddLibrary)。

   2.获得函数指针:new FuncPtr("DllFileName.DLL", "dllFunctionName");

   3.用LittleEndianOutputStream将函数需要的参数写入到一个原始字节流NakedByteStream。

   4.最重要的一步:调用FuncPtr.invoke()。传入参数比较复杂。

   5.解析上一步的返回值(字节数组)。

   第4步中传入的参数包括:

   1.指令字符串。一个"XXX:Y:ZZZ"格式的字符串。其含义分别是传入参数中的每个字节的数据类型意义、返回值的类型、需要从传入指针中读取的数据(inout类型参数)。比如:

   函数签名int func(int, int, struct s*, char*); //其中struct s*调用完函数后需要读出,struct s所占字节数为16。

   其指令字符串为:IIP16G:I关于Java调用dll的方法 - 电博 - 电博的博客4L4n16L4。该字符串在解析返回值(字节数组)时,首先应该是返回类型I对应的4个字节,然后是inout类型的参数中n16对应的16个字节。

   其中字符串的意义可以在Jawin提供的文件instructions.h中找到,或者在官方文档(Jawin数据指令)中找到常用的一些指令字符串的意义。

   2.传入参数的总字节大小。

   3.前面写好的传入参数的原始字节流。

   4.一个object数组。

   5.ReturnFlags,用以根据C/C   返回值将C/C   的错误转换为Java的异常并抛出。其中CHECK_NONE表示不检查;CHECK_FALSE和CHECK_WIN32分别表示返回0是FALSE和 SUCCESS,根据是否出错决定是否抛出异常;CHECK_HRESULT表示使用COM模型中的HRESULT作为返回值,其错误码可以配置。

   使用Jawin的缺点:不方便调试,几乎所有的错误都抛出同样的异常COMException;需要对数据类型的转换比较了解;不能跨平台,对Windows的依赖性比较强。

   使用Jawin的优点:方便使用,不用进行C/C   开发,不用对原始DLL进行封装就可以方便使用。

   五 Jacob

   官方文档:http://danadler.com/jacob/

   Jacob是Java-Com Bridge的缩写,也可以用来调用DLL。其底层也是使用JNI实现,也具有Windows 的平台依赖性,但是网上有人反映其易用性不如jawin。

posted @ 2009-06-15 21:08 caitong| 编辑 收藏