cerulean

C-JDBC

C-JDBC(Java 数据库连接群集)作为开发源码的数据库群集中间件,可以让任何应用程序通过JDBC能够透明的访问数据库群集。数据库可以分布在多个节点并可以进行数据复制,C-JDBC能够均衡在这些节点之间的查询负载。 C-JDBC通过软件来实现RAIDb(廉价数据库冗余阵列)。C-JDBC是GNU LGPL许可证下的ObjectWeb项目。
http://c-jdbc.objectweb.org/网站上的C-JDBC-Brochure-EN.pdf写的内容挺好。(C-JDBC)tutorial.pdf内容也挺翔实。

大型应用随着用户量访问越来越大,增加数据库存储和做好数据库冗余可以增加系统的可靠性和性能。

无需修改客户端应用程序,无需变更应用服务器或数据库服务器软件。C-JDBC的JDBC driver把SQL请求转给C-JDBC controller(负责在databases之间做负载均衡)
The database is distributed and replicated among several nodes and C-JDBC load balances the queries between these nodes.
就这一句话就太诱人了!

上周的某一个上午,搞定C-JDBC的安装配置啦~
主要根据官方的user guide和这篇好文: http://huaronghu.spaces.live.com/blog/cns!B9A68E1C1CA857AD!288.entry


准备工作:
环境:windows,postgreSQL,JDK
建立数据库“们”,安装若干db在若干server上,所以如果使用商业数据库的话,就会需要好几套的钱哪。
安装C-JDBC:
下载了binary版的c-jdbc-2.0.2-bin.zip,解压到作为C-JDBC server的机器上(e.g. C:\software\c-jdbc-2.0.2-bin),
设置环境变量,新增系统变量:CJDBC_HOME =C:\software\c-jdbc-2.0.2-bin
把实际使用的数据库的JDBC driver(例如mysql-connector-java-3.1.12-bin.jar ,postgresql-8.0.309.jdbc2.jar)拷贝到c-jdbc/drivers 中

配置文件:
在c-jdbc-2.0.2-bin/config/virtualdatabase目录中创建虚拟数据库配置文件。
里面DatabaseBackend 标签中定义的就是被集群的数据库。
试验时,创建了文件:postgresql-raidb1-distribution.xml,使用了2个postgreSQL数据库,采用了全复制的方法。
注意,如果采用全复制,所以在2个数据库上建库、建表的全部脚本都要完全相同,否则将会报出mismatch的错误。
目前感觉配置里面最有用的配置就是<AuthenticationManager>,<DatabaseBackend>和<LoadBalancer>(还没有仔细看)。
配置时可以参考已经提供的例子,c-jdbc-2.0.2-bin/config/RAIDb-1-full-example.xml,里面对每一个属性都有比较详细的注释,DatabaseBackend中还有各个开源数据库连接的例子,挺贴心的。

<? xml version="1.0" encoding="UTF8" ?>
<! DOCTYPE C-JDBC PUBLIC "-//ObjectWeb//DTD C-JDBC 2.0.2//EN" "http://c-jdbc.objectweb.org/dtds/c-jdbc-2.0.2.dtd" >

< C-JDBC >
  
  
< VirtualDatabase  name ="myDB"  maxNbOfConnections ="20"  minNbOfThreads ="1"  maxNbOfThreads ="20"  blobEncodingMethod ="hexa" >
    
< AuthenticationManager >
      
< Admin >
       
< User  username ="admin"  password ="c-jdbc" />
      
</ Admin >  
      
< VirtualUsers >
        
< VirtualLogin  vLogin ="boss"  vPassword ="boss" />
      
</ VirtualUsers >
    
</ AuthenticationManager >

   
< DatabaseBackend  name ="postgreSQLNode114"  driver ="org.postgresql.Driver"  url ="jdbc:postgresql://10.10.0.114:5432/clusterdb"  connectionTestStatement ="select now()" >
 
< DatabaseSchema  dynamicPrecision ="column" />
      
< ConnectionManager  vLogin ="boss"  rLogin ="postgres9"  rPassword ="12345" >
 
< RandomWaitPoolConnectionManager  poolSize ="20" />
      
</ ConnectionManager >
    
</ DatabaseBackend >

    
< DatabaseBackend  name ="postgreSQLNode155"  driver ="org.postgresql.Driver"  url ="jdbc:postgresql://10.10.0.155:5432/clusterdb"  connectionTestStatement ="select now()" >
 
< DatabaseSchema  dynamicPrecision ="column" />
      
< ConnectionManager  vLogin ="boss"  rLogin ="postgres"  rPassword ="abcde" >
 
< RandomWaitPoolConnectionManager  poolSize ="20" />
      
</ ConnectionManager >
    
</ DatabaseBackend >

    
< RequestManager >
      
< RequestScheduler >
         
< RAIDb-1Scheduler  level ="passThrough" />    
      
</ RequestScheduler >

      
< RequestCache >
         
< MetadataCache  maxNbOfMetadata ="10000"  maxNbOfField ="0" />
         
< ParsingCache  backgroundParsing ="false"  maxNbOfEntries ="5000" />    
         
< ResultCache  granularity ="table"  maxNbOfEntries ="100000"  pendingTimeout ="0" >
       
< ResultCacheRule  queryPattern ="default"  timestampResolution ="1000" >
             
< EagerCaching />
         
</ ResultCacheRule >
         
</ ResultCache >
      
</ RequestCache >

      
< LoadBalancer >
         
< RAIDb-1 >
         
< RAIDb-1-LeastPendingRequestsFirst />   
         
</ RAIDb-1 >
      
</ LoadBalancer >         
    
</ RequestManager >
  
</ VirtualDatabase >
</ C-JDBC >

 

在c-jdbc-2.0.2-bin/config/controller目录中创建一个c-jdbc controller的配置文件。
试验时,创建的配置文件为:uud-controller-distributed.xml

<? xml version="1.0" encoding="UTF8"  ?>
<! DOCTYPE C-JDBC-CONTROLLER PUBLIC "-//ObjectWeb//DTD C-JDBC-CONTROLLER 2.0.2//EN"  "http://c-jdbc.objectweb.org/dtds/c-jdbc-controller-2.0.2.dtd" >
< C-JDBC-CONTROLLER >
  
< Controller  port ="25322" >
    
< Report />
    
< JmxSettings >
      
< RmiJmxAdaptor  port ="1091" />
    
</ JmxSettings >
    
< VirtualDatabase  configFile ="postgresql-raidb1-distribution.xml"  virtualDatabaseName ="myDB"  autoEnableBackends ="true"  checkpointName ="Initial_empty_recovery_log" />
  
</ Controller >
</ C-JDBC-CONTROLLER >

 

注意:Controller和VirtualMachine的配置文件不能采用相同的文件名

启动:
在c-jdbc-2.0.2-bin\bin目录下,运行controller.bat -f ../config/controller/uud-controller-distributed.xml
unix用户使用controller.sh来启动controller

截图:(下回补)
凑合看一下吧,控制台的正常输出:
C:\software\c-jdbc-2.0.2-bin\bin>controller.bat -f ../config/controller/uud-cont
roller-distributed.xml
2007-03-07 15:16:44,017 INFO  controller.core.Controller C-JDBC controller (2.0.
2)
2007-03-07 15:16:44,439 INFO  controller.core.Controller Loading configuration f
ile: ../config/controller/uud-controller-distributed.xml
2007-03-07 15:16:44,752 INFO  controller.core.Controller JMX is enabled
2007-03-07 15:16:44,830 INFO  controller.core.Controller Starting JMX server on
host: 10.10.0.155
2007-03-07 15:16:46,376 INFO  backend.DatabaseBackend.postgreSQLNode114 Adding c
onnection manager for virtual user "boss"
2007-03-07 15:16:46,501 INFO  backend.DatabaseBackend.postgreSQLNode155 Adding c
onnection manager for virtual user "boss"
2007-03-07 15:16:46,642 INFO  controller.RequestManager.myDB Request manager wil
l parse requests with the following granularity: TABLE
2007-03-07 15:16:46,657 WARN  controller.virtualdatabase.myDB No recovery log ha
s been configured, enabling backend without checkpoint.
2007-03-07 15:16:48,641 INFO  backend.DatabaseBackend.postgreSQLNode114 Detected
 backend as: PostgreSQL
2007-03-07 15:16:49,063 WARN  backend.DatabaseBackend.postgreSQLNode114 Statemen
t.getGeneratedKeys not supported.
2007-03-07 15:16:49,579 INFO  backend.DatabaseBackend.postgreSQLNode114 Gatherin
g database schema
2007-03-07 15:16:49,782 INFO  controller.RequestManager.myDB Setting new virtual
 database schema.
2007-03-07 15:16:49,782 INFO  cjdbc.controller.cache Setting new database schema
.
2007-03-07 15:16:49,782 INFO  controller.loadbalancer.RAIDb1 Adding blocking tas
k worker thread for backend postgreSQLNode114
2007-03-07 15:16:49,797 INFO  controller.loadbalancer.RAIDb1 Adding non blocking
 task worker thread for backend postgreSQLNode114
2007-03-07 15:16:49,797 INFO  controller.RequestManager.myDB Database backend po
stgreSQLNode114 is now enabled
2007-03-07 15:16:50,922 INFO  backend.DatabaseBackend.postgreSQLNode155 Detected
 backend as: PostgreSQL
2007-03-07 15:16:51,328 WARN  backend.DatabaseBackend.postgreSQLNode155 Statemen
t.getGeneratedKeys not supported.
2007-03-07 15:16:52,172 INFO  backend.DatabaseBackend.postgreSQLNode155 Gatherin
g database schema
2007-03-07 15:16:52,390 INFO  controller.RequestManager.myDB Virtual database sc
hema merged with new schema.
2007-03-07 15:16:52,390 INFO  cjdbc.controller.cache Merging new database schema

2007-03-07 15:16:52,390 INFO  controller.loadbalancer.RAIDb1 Adding blocking tas
k worker thread for backend postgreSQLNode155
2007-03-07 15:16:52,390 INFO  controller.loadbalancer.RAIDb1 Adding non blocking
 task worker thread for backend postgreSQLNode155
2007-03-07 15:16:52,406 INFO  controller.RequestManager.myDB Database backend po
stgreSQLNode155 is now enabled
2007-03-07 15:16:52,422 WARN  VirtualDatabaseWorkerThread.myDB.metadata Metadata
 key [getMaxColumnsInIndex] is not compatible. (Backends are: [jdbc:postgresql:/
/10.10.0.114:5432/clusterdb] and [jdbc:postgresql://10.10.0.155:5432/clu
sterdb] ; Values are:[32] and [0])
2007-03-07 15:16:52,422 INFO  controller.core.Controller Adding VirtualDatabase
myDB
2007-03-07 15:16:52,437 INFO  controller.core.Controller Waiting for connections
 on 0.0.0.0:25322
2007-03-07 15:16:52,469 INFO  controller.core.Controller Controller started on 2
007.03.07 10 at 03:16:52 下午 GMT+08:00
2007-03-07 15:16:52,484 INFO  controller.core.Controller Controller 10.10.0.
155:25322 ready, listening to requests ...



遇到过的问题:
1、
刚启动没一会儿,就看到config文件读取错误,控制台信息也就此结束。
解决方法:controller.bat -f filename中filename的相对路径和文件名竟然都写错了,汗。。。。

2、
启动时,控制台抛出ERROR以及exception,大意是connection failed, IP没有配置到pg_hba.conf中
解决方法:虽然是连本机的一个数据库,但是由于数据库连接的url里面写的是IP地址,所以仍然要把本机的IP地址配置到pg_hba.conf以允许其访问。

3、
还是启动时抛错了,Connection test failed(org.postgresql.util.PSQLException:Backend start-up failed:FATAL:role "boss_user" does not exist.)
解决方法:原来是在自己写的.xml配置文件中,DatabaseBackend标签里面写的用户名和密码需要是真实数据库的真实用户名和密码。

最后都整好了,但是遇到一个warn的log:
backend.DatabaseBackend.postgreSQLNode155 Statement.getGeneratedKeys not supported
至今不知道是什么问题,有什么影响.

代码部分:
只需要修改应用程序用到的jdbc driver的配置,把c-jdbc/drivers/目录下的c-jdbc-driver.jar拷贝到应用程序的工程里,并加入到class-path中。
之前是使用 Class.forName("com.somevendor.jdbcDriver.Driver") 去连接某特定的数据库
现在是使用 Class.forName("org.objectweb.cjdbc.driver.Driver") 统一处理。
连接字符串:DriverManager.getConnection("jdbc:cjdbc://localhost:25322/mycjdbc") 取得数据库连接。

c-jdbc server称为c-jdbc controller,聆听请求们
其他所有通过c-jdbc来访问的DB们称为db backends.

jdbc:cjdbc://host1:port1,host2:port2/database
host是指跑着c-jdbc controller的机器IP,port是指controller监听客户端链接的端口,默认端口号:25322
注意,不仅真正的DB安装多个在多个机器上,c-jdbc controller也可以安在不同的机器上,这样可以防止一个c-jdbc 坏掉带来的风险。
例如:

Class.forName( " org.objectweb.cjdbc.driver.Driver " ); 
DriverManager.getConnection(
" jdbc:cjdbc://c1.objectweb.org,c2.objectweb.org/tpcw " );  // 不验证用户名密码
DriverManager.getConnection( " jdbc:cjdbc://host/db?user=me&password=secret " ) // 验证用户名密码的写法1
DriverManager.getConnection( " jdbc:cjdbc://host/db;user=me;password=secret " ) // 验证用户名密码的写法2

然后可以在代码中insert/update几个记录,再单独到各个数据库中去查一下,应该都受到影响就对了。

问题:
1、管理C-JDBC,不知道C-JDBC需要啥管理,不过好像是已經有一個簡單的 Desktop Application 可以控制相關的 administration 介面, 最重要的是, 他結合了 JMX , 可以讓整個監控的環境更完整.. (等待尝试)
2、不知道通过C-JDBC来操作速度如何
3、RAIdb的3种类型,采取哪个更好?把表分开在不同server上对联表查应该不会有影响吧?

其他:
1、Configuring C-JDBC with Jakarta Tomcat
Copy the c-jdbc-driver.jar file to the lib directory of your web application (for example: $TOMCAT_HOME/webapps/mywebapp/WEB-INF/lib).
There are many ways to obtain connections from a Tomcat application. Just ensure that you are using org.objectweb.cjdbc.driver.Driver as the driver class name and that the JDBC URL is a C-JDBC URL

2、Configuring C-JDBC with Hibernate
C-JDBC just has to be defined as any JDBC driver in Hibernate, leaving the syntax set to the proper database. Here is a configuration example to use Hibernate with a C-JDBC cluster made of Sybase backends:
## C-JDBC
hibernate.dialect                 net.sf.hibernate.dialect.SybaseDialect
hibernate.connection.driver_class org.objectweb.cjdbc.driver.Driver
hibernate.connection.username     user
hibernate.connection.password     pass
hibernate.connection.url          jdbc:cjdbc://localhost:25322/test       

posted on 2007-03-05 20:42 cerulean 阅读(1369) 评论(2)  编辑  收藏 所属分类: DB

评论

# re: C-JDBC 2014-03-24 13:56 woshibobo

你好,我参照着你的这篇文章现在用C-jdbc做一个数据库集群,有写问题想问你,1.现在是不是没有linux版本的二进制安装包了?去官网都没又找到。
2.所以我用windows版本的,安装配置完以报错Cannot find C-JDBC home directory. Please set the CJDBC_HOME environment variable.可是我已经设置过cIDBC_HOME 的啊。
3.还有,现在 是不是都不用C——jdbc做集成了,毕竟时间这么久了。。网上也没找到多少资料。。
希望你看到后能给我答复!谢谢!  回复  更多评论   

# re: C-JDBC 2014-04-16 22:49 cerulean

@woshibobo
抱歉,这个确实时间太久太久了,实在不确定这个还有没有用了。应该有更流行的方案吧。
如果单就CJDBC_HOME这个环境变量的设置问题来说,你在windows上可以再检查一下echo %CJDBC_HOME%看看到底设置成功没有。  回复  更多评论   


只有注册用户登录后才能发表评论。


网站导航:
 

导航

<2014年3月>
2324252627281
2345678
9101112131415
16171819202122
23242526272829
303112345

统计

常用链接

留言簿(3)

随笔分类

随笔档案

搜索

最新评论

阅读排行榜

评论排行榜