BlogJava-风之语-随笔分类-SybaseIQ

Sybase IQ for Data Warehouse 培训总结(一)

Sat, 10 Nov 2007 09:38:00 GMT

Sybase IQ for Data Warehouse 培训总结(一)
*作者: xuwedo

培训主要内容：Administering Sybase IQ for Data Warehouse (volume 1 &volume 2)

一、本次培训涉及到以下内容：

1． Sybase IQ产品概述

2．架构和专业述语

3．环境变量和安装

4．怎样创建数据库

5．设置服务器和数据选项

6． Sybase IQ索引和数据类型

7．创建表和索引

8． Sybase IQ内存配置

9．从文件中加载数据

10．用INSERT语句加载数据

11．使用Sybase IQ

12．用户的管理和安全

13．事务管理和锁

14．监控和问题解决

15．管理DBspace 和索引

16．备份和恢复

17． Sybase IQ的多元架构

18．创建一个多元架构的数据库

二、以下为各部分的详细叙述：

(一) Sybase IQ产品概述

1、 Sybase IQ是一个强大的即席查询服务器。

2、用Sybase IQ来分离决策支持系统（DSS，Decision Support System，READER）和在线事务处理系统（OLTP，OnLine Transaction Processing，WRITER）。

3、 Sybase IQ的特点有：
（1）、垂直数据存储和压缩
（2）、优化了所有数据类型的存取方法
（3）、基于位的存储技术
（4）、即席查询优化器
（5）、标准的对外接口
（6）Sybase Central 支持

4、 Sybase IQ不适合做：
（1）、在线事务处理引擎
用Adaptive Server Enterprise代替
（2）、需要实时更新的在线应用服务器
用Adaptive Server Enterprise或Adaptive Server Anywhere代替

5、             Sybase数据库的基本原理：
（1）、列方式的存储，可以减少IO
    例如：SELECT COUNT(*) FORM customer WHERE gender = “m”
（2）、基于位的索引方式
    分为高基数数据（唯一值数量大于1500个）和低基数数据（唯一值数量小于1500个）。

(二) 架构和专业述语

1、 Sybase IQ平台支持的操作系统版本可以查看Sybase的官方网站，注意：必须有相关的操作系统补丁。

2、 Sybase IQ Server是在主机上运行的一个进程。

3、一个Sybase IQ Server只支持一个Sybase IQ数据库。可以在一个Sybase IQ Server上部署多个数据库，但不推荐。

4、 Sybase IQ数据库包括：

l 三种DBSPACEE：

（1）、Catalog Store(for metadata,扩展名为：.db)

一个IQ 数据库只能有一个Catalog store DBspace，而且只能创建在一个文件系统上，不能创建在裸设备上。

Catalog Store会随着元数据、表、视图、存储过程等对象的增加动态增长。

Catalog Store包含了管理一个IQ数据库的所有信息。

Catalog Store的逻辑名为SYSTEM。

一个数据库中所有表的信息都存储在Catalog Store的系统表中。例如系统表有：SYSIQCOLUMN、SYSIQFILE、 SYSIQINDEX、 SYSIQINFO、 SYSIQTABLE等。可以用语句：
Select * from SYSIQINFO 语句来查看相关信息。

（2）、IQ Store(for data，扩展名为：.iq)

IQ Store存储了压缩的数据信息，例如索引信息、事务日志、管理分配空间的结构等。

每一个数据库只有一个IQ Store。一个IQ Store通常情况下包括多个DBspace。

IQ Store的DBspace可以建立在裸设备或文件系统上。

IQ Store的逻辑名为：IQ_SYSTEM_MAIN

注意：IQ Store的文件系统的扩展名为.iq，裸设备没有扩展名。

（3）、IQ temporary Store(for temporary data,扩展名为：.iqtmp)

IQ temporary Store是数据库的工作区间。在装入数据时在其中进行排序数据，以建立索引。

一个数据库只有一个IQ temporary Store。一个IQ temporary Store可以包含多个物理文件。

IQ temporary Store可以是文件系统或裸设备。

IQ temporary Store的逻辑名为IQ_SYSTEM_TEMP

l 三种日志文件：

（1）、IQ Message log

IQ数据库的可读日志文件，包括：插入和删除信息、错误信息、状态信息、查询计划等。

IQ Message Log只能在文件系统中，扩展名为.iqmsg。

一个数据库只能有一个IQ Message。

（2）、Catalog Store Transaction Log

Catalog Store Transaction Log是Catalog Store的事务日志。

用来作为必需时的回滚和前滚。

文件的扩展名为：.log。

随时间，此文件会越来越大。

（3）、IQ server logs

记录每次服务器启动时的信息。每启动一次就会产生一个IQ server log。

通常在$ASDIR/Logfiles目录下。

ASIQ_startup_nt.log文件中记录了服务器启动的参数。

Server_name.00n.srvlog中的n是服务器启动的次数。

其他信息发送到控制窗口中。

5、一个DBspace是一个数据库文件的逻辑名。

6、 DBspace可以是分配给Sybase IQ的一个文件系统或裸设备。

7、一个Sybase IQ 数据库包括多个DBspace。

8、 IQ中的表是指定义在Catalog Store的逻辑表。IQ中有三种表：基本表、本地临时表、全局临时表。

9、 IQ表的每一列最少有一种索引。每当创建新表时，系统会自动为表创建默认索引。

10、 IQ中一共有9种索引。

(三) 环境变量和安装

1. 对硬盘的空间要求：

UNIX：不少于800M。

WINDOWS：不少于375M。

IQ STORE 约点总磁盘空间的70%。IQ temporary Store大小约为IQ Store的20%。

l 对内存的要求：

虚拟内存=物理内存+磁盘交换分区大小。

推荐生产环境最小内存不小于1G的物理内存。

如果虚拟内存过小，会导致服务器失败。

l CPU要求：

颗数越多越好，速度越快越好。

l 启动IQ Server：

使用命令：start_asiq [config file] dbname [switchs]

例如：start_asiq @saiqdemo.cfg asiqdemo.db

l 停止IQ server：

（1）、使用命令：

Dbstop –c “uid=DBA; pwd=SQL; eng=server_name; dbn=db_name”

（2）、使用存储过程：

Stop_asiq

l 当安装完Sybase IQ后会自动生成一个名为“Utility”的数据库，此数据库没有数据，也没有数据文件与之关联（仅为一个util_db.ini文件）。它主要用于以下目的：
（1）、当没有实际的数据库时，用于测试连接。
（2）、用来创建和恢复数据库。
（3）、千万不能删除之。
（4）、此数据库的用户名为：DBA，密码为：SQL。

l 有七种方法可以连接到Sybase IQ：
（1）、ODBC
（2）、JDBC
（3）、OLE_DB
（4）、Sybase Open Client
（5）、用DBISQL
（6）、用Sybase Central。
（7）、用DBISQLC

风 2007-11-10 17:38 发表评论

Sybase IQ for Data Warehouse 培训总结(二)

Sat, 10 Nov 2007 09:37:00 GMT

Sybase IQ for Data Warehouse 培训总结(二)
*作者: xuwedo

(一) 怎样创建数据库

1、DBspace是分配到IQ数据库的驱动空间的逻辑名

2、一个新IQ数据库最多可以有2047个DBspace。

3、Sybase的各种类型DBspace的限制：
（1）、Catalog Store最大为1TB。
（2）、IQ Store 和IQ temp Store 在裸设备上没有大小限制，在文件系统中为4TB。

4、IQ Store 和IQ temp Store可以扩大或从数据库删除。

5、创建数据库：
CREATE DATABASE full_path db_name[[TRANSACTION] {LOG ON [log_file_name][MIRROR mirror_file_name]}]
IQ PATH iq_file_anem

[IQ SIZE iq_file_size]

[IQ RESERVE sizeMb]

TEMPORARY PATH temp_file_name

[TEMPORARY SIZE temp_db_szie]

[TEMPORARY RESERVE sizeMB]

[MESSAGE PATH message_file_name]

例子1：

CREATE DATABASE ‘d:\\mydb\\mydb.db’

IQ PATH ‘d:\\iqmain\\mydb01.iq’

IQ SIZE 200

TEMPORARY PATH ‘e:\\iqtem\\mydb01.iqtmp’

TEMPORARY SIZE 200

IP PAGE SIZE 65536

6、可以用Sybase Central创建数据库（在图形环境下）。

7、可以用sp_iqstatus来查看当前数据库的详细信息。

8、删除一个DBspace

（1）、一个IQ store如果存有数据的话，则不能被删除。（可以使用Utility数据库将一个DBspace的数据移动到另一个DBspace中去，再删除）。

（2）、一个IQ temporary Store仅在为空时才可以被删除。

9、删除一个数据库的语法：

DROP DATABASE db_filename

例子：DROP DATABASE ‘d:\\mydb\\mydb.db’

10、怎样才能看到所有的DBspace的物理文件名？
用以下命令：Select * from sysqifile

(二) 设置服务器和数据选项

1、数据库的启动参数均可以写在“.cfg”文件中。

2、启动服务器的语法：
start_asiq server-switchs database_file

其中：“server-switchs”可以为：

-c ：缓存大小，默认windows为32M,Unix为48M。

-gp:Catalog store页大小。

-gm：服务器允许的连接数。

-n：IQ server的名字。如果有两个“-n”选项，则第一个是IQ server的名字，第二个“-n”为IQ 数据库的名字。

-gc：checkpoint时间间隔。默认为20，推荐为6000。

-gr：最大的恢复时间。默认为2。

-ti：客户端超时时间。默认为4400分钟。

-tl：默认网络超时时间。默认120秒。

-iqmc：主缓存大小，单位：M。

-iqtc：临时缓存大小，单位：M。

注：主缓存：临时缓存=2：3

在默认情况下，Sybase IQ server使用2338端口。

3、使用SET OPTION命令更变数据库的配置：
（1）、语法：
SET [TEMPORARY] OPTION
[user_id. | PUBLIC.]option_name = [option_value]
其中的“option_name”可以是：
Force_No_Scroll_Cursors=‘on’(默认为“off”)禁止缓存用户的查询结果。
Query_Temp_Space_Limit=0(默认为2000M)，设置临时缓存的最大值。0表示不限制。
Public.Query_Plan=‘off’(默认为“on”)禁止将用户的查询计划打印到IQ Message File中，因为查询计划可以会使之大小迅速增加。
例子：
SET OPTION public.Force_NO_Scroll_Cursors=’no’

4、查看数据库的所有被改动过的（即非默认值）选项，用存储过程：sp_iqcheckoptions。

(三) Sybase IQ索引和数据类型

1、Sybase IQ的9种索引类型：

（1）、FP（Fast Projection）此索引为默认的索引形式，在创建表时系统自动设置此索引。

特点：用于SELECT、LIKE ‘%sys%’、SUM（A+B）、JOIN操作等语句。

此类型索引也是唯一可用于BIT数据类型的索引。

FP索引可以优化索引，将小于255的唯一值的索引压缩到1字节中，将小于65537的唯一值索引压缩到2字节中。

（2）、LF(Low Fast)基于平衡树的结构，存储唯一值小于1500个的索引，是最快的索引类型。可以用作唯一索引。

特点：用于=、！=、IN、NOT IN查询参数。

MIN（）、MAX（）、COUNT（）、Group By、JOIN等。

（3）、HNG(High Nongroup)基于位的优化索引，适合于数字索引。用于范围查找和求合计算。

特点：Rangs、Between、MIN（）、MAX（）、SUM（）、AVG（）等。

（4）、HG(High Group) 基于平衡树的结构，存储唯一值大于1500个的索引，是最快的索引类型。可以用作唯一索引。

特点：同LF索引的特点。

（5）、CMP(compare)仅用于比较一个表中的两个列的比较。

特点：<、 =、 >、 <= 、>=

（6）、WD(Word)，仅用于索引数据类型为WORD的列。
特点：‘CONTAINS’、LIKE操作（但没有‘%’）。

例子：

Select count(*) from Customer where address contains(‘Main’)

（7）、DATE(date)仅用于日期类型的列。

（8）、DTTM(Datetime)仅用于日期时间类型的列。

（9）、TIME(Time)仅用于时间类型的列。

例子：
Select * from sales where DATAPART(YEAR,dales_dt) = 2007
Select * from sales where sales_dt>=‘2003-01-01 08：00：00’

(四) 创建表和索引

1、创建表：

例子1：

CREATE TABLE employee(

Emp_id int NOT NULL

,lname varchar(30) NULL

,fname varchar(30) NULL

,salary money NULL)

例子2：

CREATE TABLE stores(

Store_id char(4) NOT NULL

,store_name varchar(20) NOT NULL

,store_address varchar(40) NOT NULL

,UNIQUE(store_id))

例子3：

CREATE TABLE products(

Product_code char(5) NOT NULL

,product varchar(40) NOT NULL

,price money NULL

PRIMARY KEY (products_code))

例子4：

CREATE TABLE sales(

Sales_code char(10) PRIMARY KEY

,sales_date DATE NOT NULL

,product_code char(5) NOT NULL

,FOREIGN KEY fk1(product_code) REFERENCES product (product_code))

例子5：

SELECT * INTO co_residential_customer from customer where 1=2

2、用Sybase Central 可以在图形界面下创建表。

3、删除表：DROP TABLE tablename

4、删除表中的所有内容：TRUNCATE TABLE [owner.]table_name

5、创建视图，语法：

CREATE VIEW [owner.]view_name[(column-name[,…])]

AS select-without-order-by

[WITH CHECK OPTION]

例子1：

CREATE VIEW sd_customer AS SELECT * FROM customer

WHERE sheng = ‘SD’

例子2：

CREATE VIEW emp_dept

AS SELECT emp_home,emp_fname,dept_name

From Employee,Department

WHERE Employee.dept_id = Department.dept_id

5、用Sybase Central 可以在图形界面下创建视图。

6、创建索引：
CREATE [UNIQUE] [index-type] INDEX

Index_name ON

[owner.]table_name (column_name[,…])

[{IN | ON} DBSpace_name]

[NOTIFY integer]

[DELIMITED BY ‘separators-string’]

[LIMIT maxwordsize-integer]

例子1：

CREATE HG INDEX

Cust_customer_id ON

Cutomer(customer_id)

例子2：

CREATE CMP INDEX price_compare

ON orders(purchase_price,list_cost)

7、删除索引：

DROP INDEX [[owner.]tablename.]index_name
例子：
DROP INDEX cust_customer_id

(五) Sybase IQ内存配置

1、 IQ从单一的一个内存池中分配内存。

2、从操作系统层面来看，IQ Server的内存是由堆组成。

3、 Buffer：内存中的一块区域，它存储了写入数据库或从数据库中读取的未解压的数据。

4、 IQ Page Size：IQ Server中每一个内存页的大小。

5、 IQ Page Size/16=BLOCK SIZE

6、在启动服务器时，可以用参数-c来指定服务器缓存的初始大小。在所有平台中，这个值最大为256M。

7、 IQ Buffer有两种类型：
（1）、主Buffer缓存：IQ Store的Buffer。（占总大小的40%）
（2）、临时Buffer：IQ temporary Buffer。（占总大小的60%）

8、在Sybase IQ server中一个活动的用户大约占用10M内存，一个非活动用户大约占5M内存。

风 2007-11-10 17:37 发表评论

Sybase IQ for Data Warehouse 培训总结(三)

Sat, 10 Nov 2007 09:36:00 GMT

作者: xuwedo
(一) 从文件中加载数据

1、有三种方法向IQ table中加入数据：

（1）、用LOAD TABLE命令，从命名管道或文件中将数据导入表中。（速度是最快的）

（2）、用INSERT FROM SELECT 命令，将其他表中的数据加入当前表中。

（3）、用INSERT VALUES命令，“手动”地向表中加入数据。

2、关于数据加载和锁：

（1）、当一个用户正在装载、插入或修改一个表中的数据时，其他用户可以对该表进行查询操作。（原理是：版本控制）

（2）、多个用户可以并发地执行DML语句，但必须针对不同的表。

（3）、如果多个用户试图修改同一个表，则第一个用户获得DML锁。

3、从文件中装入数据的例子：

LOAD TABLE customer(customer_id ‘|’

,cust_type ‘|’

,organization ‘|’

,contact_name ‘|’

,contact_phone ‘|’

,address ‘|’

,city ‘|’

,country ‘\x0a’)

FROM ‘/work/data/cutomer1.dat’

ESCAPES OFF

QUOTES OFF;

4、删除表中的数据有三种方法：

（1）、用DELETE 命令：
DELETE FROM customer

WHERE customer_id IN( SELECT cutomer_id FROM customer

WHERE postno = ‘250001’)

（2）、用DROP TABLE命令

（3）、用TRUNCATE TABLE命令

5、删除后再增加数据有两种方式：

（1）、插入到删除后留下的空隙中。

（2）、追加到现有表的最后一行后面。（速度再快一些，但要更大的存储空间）

由APPEND_LOAD=‘ON’来控制。

6、UPDATE 命令：

UPDATE employee

SET dept_id = 400

WHERE emp_id = 111

(二) 用INSERT语句加载数据

例1：

INSERT INTO dept_head(name,dept)

NOTIFY 20

SELECT emp_fname ||‘ ’||emp_lname AS name

,dept_name

FROM employee JOIN department

ON emp_id = dept_head_id;

commit

例2：

INSERT INTO lineitem(shipdate,orderkey)

LOCATION‘servername.dbname’

PACKETSIZE 512

{SELECT l_shipdate,l_orderkey FROM lineitem};

commit

(三) 使用Sybase IQ

因为本章节均为图形化操作，比较简单。略

(四) 用户的管理和安全

1. 系统预置的两个组：SYS和PUBLIC组。
想知道系统中共有多少组，用以下命令：
SELECT * FROM Sys.sysgroups

2. 系统管理员的用户名：DBA，默认密码为：SQL

3. 向系统中加入用户有三种方法：
（1）、“GRANT CONNECT”命令，
GRANT CONNECT TO userid [，…]
INDENTIFIED BY password [,…]
注：更改用户的密码也是上面的命令,这可能导致管理员无意识地改变现有用户的密码，而其目的是增加用户。此操作没有警告提示。
（2）、Sybase Central 向导，图形化操作。
（3）、sp_iqaddlogin存储过程，

4. 与系统中用户管理有关的两个系统表：
IQ_User_Login_Info_Table和IQ_System_Login_Info_Table
如果想查看该系统表中的内容，则可以用以下语句：
SELECT * FROM IQ_User_Login_Info_Table

5. 与管理用户有关的几个存储过程：
sp_iqmodifyadmin
sp_iqaddlogin
sp_iqprocess_login
sp_iqdroplogin

sp_iqlistexpiredpasswords
sp_iqlistlockedusers
sp_iqlistpasswordexpirations
sp_iqlocklogin
sp_iqmodifylogin
sp_iqpassword

(五) 事务管理和锁

1、与事务有关的几个命令：

（1）、开始一个事务：
BEGIN TRANSACTION [transaction_name]

（2）、提交一个事务：
COMMIT [work]

（3）、回滚一个事务：
ROLLBACK [work]

（4）、在当前事务中建立一个保存点：
SAVEPOINT [savepoint_name]

（5）、回滚到一个保存点：
ROLLBACK TO SAVEPOINT [savepoint_name]

（6）、将改变保存到磁盘上：
CHECKPOINT

（7）、执行完一条语句后，自动提交：
WITH CHECKPOINT ON

(六) 监控和问题解决

1、可以在Sybase Central中监控用户

2、存储过程：sp_iqconnection可以显示用户连接的信息。包括connection_handle，User_ID，最后的请求的时间，最后IQ命令时间等。

3、用drop connection connection_handle可以让服务器主动断开与某用户连接。

4、用sp_iqcontext来显示服务器上执行SQL语句的情况，包括哪个用户正在执行哪条SQL语句，是否提交等信息。

5、将服务器执行SQL情况写入日志：
方法1：
-zr SQL ；表明要收集SQL语句信息
-zo c:\\sqllog.txt ;重定向请求级别信息到文件中
方法2：

call sa_server_option (‘request_level_logging’ , ‘SQL’);
call sa_server_option(

‘ request_level_log_file ’,’sqllog.txt’);

关闭将SQL信息写入日志文件中：

call sa_server_option (‘request_level_logging’ , ‘’);
call sa_server_option(

‘ request_level_log_file ’,NONE);

6、用sp_iqtransaction查看系统中事务的相关信息。

7、错误处理：

（1）、UNIX 下有一脚本：getiqinfo.sh

（2）、Windows下为getiqinfo.bat

来得到服务器的相关信息，然后将生成的报告发送给Sybase即可。

(七) 管理DBspace 和索引

1、改变DBSPACE的模式或改变DBSPACE的大小：

ALTER DBSPACE

2、卸载一个空的DBSPACE：

DROP DBSPACE

3、报告DBSPACE的一般信息和模式：

Sp_iqdbspace

4、报告DBSPACE中的OBJECTS和它们的大小信息。

Sp_dbspaceinfo

5、将一个DBSPACE中的OBJECTS移动到另一个DBSPACE中：

Sp_iqrelocate

6、 Sp_iqrebuildindex存储过程重新建立某列的索引。

7、管理DBspace 和索引的操作均可以在Sybase Central中操作，比较简单。

(八) 备份和恢复

1、Sybase IQ server有三种备份类型：

（1）、完全备份

（2）、增量备份

（3）、完全备份的基础上增量备份

注：增量备份和完全备份的基础上增量备份都会对Catalog Store 进行完全备份。

默认情况下为完全备份。

2、Sybase IQ server的顺序：

（1）、Catalog Store

（2）、Transaction log File

（3）、IQ Store

3、当IQ server正在备份时：

（1）、默认情况下操作员必须在现场，挂持接备份介质。

（2）、操作员可以不在场，但必须正确地估算出备份的数据量大小，并且在安装备份设备时，要选“高级”安装方可。

4、备份命令：

BACKUP DATABASE [CRC ON|OFF]

[Attended ON|OFF]

[BLOCK FACTOR integer]

[{FULL|INCREMENTAL|INCREMENTAL SINCE FULL}]

TO ‘archive_device’ [SIZE # of KB integer]

例子：

BACKUP DATABASE TO ‘dev/rmt/0n’

注：BACKUP不支持裸设备

5、系统级别的备份：

如果IQ server运行时进行系统级别的备份，则会导致服务崩溃或丢失数据。所以，必须确定IQ server是停止状态时，方可进行系统级别备份。

6、备份的恢复：

（1）、必须连接到utility_db数据库后才可以进行恢复操作，并且在恢复数据时不能有用户连接到数据库。

（2）、如果有完全恢复，Catalog Store 和Transaction Log（即.db 和.log文件）必须从目标文件夹下删除。

（3）、如果为增量恢复，Catalog Store 和Transaction Log（即.db 和.log文件）必须存在于目标文件夹中。

7、恢复的命令：

RESTORE DATABASE ‘c:\\newdir\\mydb.db’

FROM ‘c:\\asiq\\backup1’

FROM ‘c:\\asiq\\backup2’

在进行恢复时，必须注意恢复的顺序和备份时的顺序完全一致。

8、数据库备份后，配置文件和日志文件是没有被备份的，所以如果恢复时要单独对这两种文件进行恢复。配置文件可以直接拷贝即可，但日志文件是不能用原来的.log文件的。
如果恢复到原来的目录中，则不用新建.log文件。如果没有恢复到原目录，则必须用dblog工具手动生成.log文件。

9、dblog工具的命令语法：

Dblog [option] database_file

Option：

-t log-name，指定事务log文件名。

-m mirror-name，设置事务日志镜象名。

-r，停止事务日志的镜象。

-o，输出日志信息到文件。

-q，安静模式，不打印信息。

例：dblog –t demolog.log asiqdemo

(九) Sybase IQ的多元架构

(十) 创建一个多元架构的数据库

在Sybase Central中完成。略。

风 2007-11-10 17:36 发表评论

理解SybaseIQ中的内存

Sat, 10 Nov 2007 09:33:00 GMT

1.1.
内存使用对SybaseIQ而言，内存越多越好，一般要求每个服务器的CPU配置内存2GB，数据装载需要动态使用额外的内存，计算使用缓存caches；降低IO的方法是使用大buffer caches；使用超出内存会导致频繁swapping；IQ从操作系统申请内存，从操作系统级别看SybaseIQ的内存为堆内存，所有的内存分配自动进行。IQ使用内存进行以下活动：

l
从磁盘读取数据并执行查询；

l
从系统平面文件加载时缓冲磁盘数据；

l
缓冲元数据文件 (Catalog)

l
管理连接，事务，缓冲区和数据库对象。

一个安装SybaseIQ的数据库服务器的典型内存分布如图所示：包括操作系统其他应用程序内存，服务器内存，额外内存，IQ存储缓存，临时存储缓存。

1.1.1.
服务器内存SybaseIQ服务器进程使用的内存，不同的操作系统平台其使用量存在差异，一般需要30MB。
1.1.2.
额外内存元数据缓存
由数据库启动选项 –c, -cl, 和 –ch参数控制使用RAM数量，专门用来作元数据库读写缓存，当数据库对象较多时，建议调大此数据。
线程内存
线程内存在数据库启动时分配给数据库服务器，用于线程的堆栈空间，总的空间数值按照公式“stack size * IQ 线程数量”计算，数据库启动参数–iqtss确定数据库的stack size大小单位KB。启动参数-iqmt指定IQ可以使用的线程数量，最小值是2*num_conn+1，缺省值是：
60*numCPU+2*num_conn+1
“活动”用户内存
每个Sybase IQ 用户对应一个连接进程，此进程大概需要 10MB空间；活动用户是指到数据库的一个连接或执行的查询命令，连接到数据库而不活动的用户需要更少的内存。
表版本内存
表版本内存在SybaseIQ运行时分配，通常这类内存非常小(每个被跟踪的表版本1KB到3KB)，通常为KB到MB，但是当系统中存在成千上万的表版本时，占用空间会比较大。
数据加载内存
SybaseIQ在进行数据加载时，分配内存提供数据加载性能，通过数据库选项LOAD_MEMORY_MB设定，缺省情况为0，表示堆内存的分配不受限制，如果数据加载时需要更多内存，可能导致数据加载耗尽虚拟内存，降低数据加载性能，一般建议设定此选项，其配置值可根据加载数据的表宽进行如下计算：
Load_Memory_MB = <表宽字节数> * 10,000 * 45 / 1024 / 1024
以下语句将数据加载内存设置成300MB：
SET OPTION PUBLIC.LOAD_MEMORY_MB = 300

数据库备份内存
数据库备份内存的大小与CPU个数、备份的IQ存储和本地存储的数据库空间个数，BLOCK的交错因子，IQ的BLOCK大小有关系。可以通过如下公式粗略估计：

y = max( 2 * cpu个数, 8 * number_of_main_or_local_dbspaces)
z = (y * 20 ) * ( block factor * block_size )
Z表示的是备份时需要的内存的虚拟估计值，假设如下情况：
dbspaces = 50
block factor = 100
number of cpus = 4
block_size = 8,192
采用上面的公式和算法，数据库备份时需要的内存总数是：
'y' is max(8, 400) è y=400
'z' is ( 400 * 20 ) * ( 100 * 8,192 ) è 6.5GB
备份内存来自操作系统，属于堆内存，当备份操作完成后，内存释放。当空间充足时，唯一可以控制备份内存使用的是块的交错因子，在前面的例子中，如果交错因子变成10，总的备份内存需求将降低到655MB：
( 400 * 20 ) * ( 10 * 8,192 ) è 655MB
在磁盘I/O不是瓶颈的情况下，在数据库备份时降低内存将减慢备份数度。数据库备份性能与磁盘子系统I/O的读写块性能一致，为减少I/O的额外开销，备份程序一次I/O中读入连续的块，相应地按照“块交错因子”写这些块数据。
通过“块交错因子”可以减少备份内存，增加可用的内存，以此计算数据库备份时需要的总内存量。
1.1.3.
数据库缓存数据库缓存是操作系统内存中分配用来保存从数据库中读出或者准备写入数据库的数据。SybaseIQ数据库缓存包括主存储缓存和临时存储缓存。参数设置可以通过数据库选项或者数据库启动配置文件。
主存储缓存
用于缓存数据库服务器从IQ存储中读取的数据，供 IQ 数据表空间的数据缓存使用，所有用户均可使用。较大的缓存可以降低磁盘的IO以提升性能，主存储缓存在数据库启动时初始化，缺省配置是16MB，对于大多数应用来说太小，修改此参数配置需要重新启动数据库。一般将IQ服务器可以使用的内存的40％分配给SybaseIQ主存储缓存。
临时存储缓存
SybaseIQ临时存储缓存用于数据查询时的表关联，分组，排序和哈系算法。数据加载时，也需要较多的临时存储缓存，例如HG索引的管理、FP索引加载时的1个字节和2个字节的字典表等。较大的临时存储缓存可以减少内存调度。
主存储缓存在数据库启动时初始化，缺省配置是12MB，对于大多数应用来说太小，修改此参数配置需要重新启动数据库。一般将IQ服务器可以使用的内存的60％分配给SybaseIQ的临时存储缓存。

风 2007-11-10 17:33 发表评论

Sybase IQ 12.6 的redhat AS4安装

Fri, 09 Nov 2007 09:06:00 GMT

Sybase IQ 12.6 的redhat AS4安装

由于我的iq126解压出来是一个个tgz文件，执行sybinstall.sh安装后会报告复制文件失败。打开sybinstall.sh文件来看看，应该是解压缩文件这个环节出错了，那就先把文件解压出来看看再试一下：
gzip -d *.tgz
sybinstall
好了，一路畅通。
启动测试数据看看有没有什么问题.
start_asiq @asiqdemo.cfg asiqdemo.db
..
启动正常，
stop_asiq
...没有发现server,
再打开stop_asiq看看：
哦原来也是用"ps -ef|.....",有点土吧，居然没找到server，肯定是这个脚本又有错误。修改一下，呵呵，搞定.
"case "$OS_TYPE" in
Linux) if ps -m >/dev/null 2>&1
then MY_PS="ps -efwm |awk -f $AWK_CMD ps_type=long"
else MY_PS="ps -efw |awk -f $AWK_CMD ps_type=long"
fi
;;"
把第一个ps_type=long改为ps_type=short
[注]我的os为RHEL 4 patch 2

风 2007-11-09 17:06 发表评论

Sybase IQ for Data Warehouse 培训总结(二)

Fri, 30 Mar 2007 02:10:00 GMT

/*
*标题: Sybase IQ for Data Warehouse 培训总结(二)
*作者: xuwedo
*文章属性: 原创
*时间: 2007-03-11
*来源: http://blog.csdn.net/xuwedo2003/
*链接: http://blog.csdn.net/xuwedo2003/
* Copyright (c) 2007
* All rights reserved.
* 如有转载,请注明作者及本信息
* 文件名称:
* 文件标识:
* 摘要: Sybase IQ, Data Warehouse
* 开始时间: 2007-03-11
*
* 当前版本: 1.0
* 作者: xuwedo2001@sohu.com
* 相关信息:
* 完成日期: 2007年3月11日
*/
正文:

(一) 怎样创建数据库

1 、DBspace是分配到IQ数据库的驱动空间的逻辑名

2 、一个新IQ数据库最多可以有2047个DBspace。

3 、Sybase的各种类型DBspace的限制：
（1）、Catalog Store最大为1TB。
（2）、IQ Store 和IQ temp Store 在裸设备上没有大小限制，在文件系统中为4TB。

4 、IQ Store 和IQ temp Store可以扩大或从数据库删除。

5 、创建数据库：
CREATE DATABASE full_path db_name[[TRANSACTION] {LOG ON [log_file_name][MIRROR mirror_file_name]}]
IQ PATH iq_file_anem

[IQ SIZE iq_file_size]

[IQ RESERVE sizeMb]

TEMPORARY PATH temp_file_name

[TEMPORARY SIZE temp_db_szie]

[TEMPORARY RESERVE sizeMB]

[MESSAGE PATH message_file_name]

例子1：

CREATE DATABASE ‘ d:\\mydb\\mydb.db ’

IQ PATH ‘ d:\\iqmain\\mydb01.iq ’

IQ SIZE 200

TEMPORARY PATH ‘ e:\\iqtem\\mydb01.iqtmp ’

TEMPORARY SIZE 200

IP PAGE SIZE 65536

6 、可以用Sybase Central创建数据库（在图形环境下）。

7 、可以用sp_iqstatus来查看当前数据库的详细信息。

8 、删除一个DBspace

（1）、一个IQ store如果存有数据的话，则不能被删除。（可以使用Utility数据库将一个DBspace的数据移动到另一个DBspace中去，再删除）。

（2）、一个IQ temporary Store仅在为空时才可以被删除。

9 、删除一个数据库的语法：

DROP DATABASE db_filename

例子：DROP DATABASE ‘d:\\mydb\\mydb.db ’

10 、怎样才能看到所有的DBspace的物理文件名？
用以下命令：Select * from sysqifile

(二) 设置服务器和数据选项

1、数据库的启动参数均可以写在“.cfg”文件中。

2、启动服务器的语法：
start_asiq server-switchs database_file

其中：“server-switchs”可以为：

-c ：缓存大小，默认windows为32M,Unix为48M。

-gp:Catalog store 页大小。

-gm ：服务器允许的连接数。

-n ：IQ server的名字。如果有两个“-n”选项，则第一个是IQ server的名字，第二个“-n”为IQ 数据库的名字。

-gc ：checkpoint时间间隔。默认为20，推荐为6000。

-gr ：最大的恢复时间。默认为2。

-ti ：客户端超时时间。默认为4400分钟。

-tl ：默认网络超时时间。默认120秒。

-iqmc ：主缓存大小，单位：M。

-iqtc ：临时缓存大小，单位：M。

注：主缓存：临时缓存=2：3

在默认情况下，Sybase IQ server使用2338端口。

4、查看数据库的所有被改动过的（即非默认值）选项，用存储过程：sp_iqcheckoptions。

(三) Sybase IQ 索引和数据类型

1 、Sybase IQ的9种索引类型：

（1）、FP（Fast Projection）此索引为默认的索引形式，在创建表时系统自动设置此索引。

特点：用于SELECT、LIKE ‘%sys%’、SUM（A+B）、JOIN操作等语句。

此类型索引也是唯一可用于BIT数据类型的索引。

FP 索引可以优化索引，将小于255的唯一值的索引压缩到1字节中，将小于65537的唯一值索引压缩到2字节中。

（2）、LF(Low Fast)基于平衡树的结构，存储唯一值小于1500个的索引，是最快的索引类型。可以用作唯一索引。

特点：用于=、！=、IN、NOT IN查询参数。

MIN （）、MAX（）、COUNT（）、Group By、JOIN等。

（3）、HNG(High Nongroup)基于位的优化索引，适合于数字索引。用于范围查找和求合计算。

特点：Rangs、Between、MIN（）、MAX（）、SUM（）、AVG（）等。

（4）、HG(High Group) 基于平衡树的结构，存储唯一值大于1500个的索引，是最快的索引类型。可以用作唯一索引。

特点：同LF索引的特点。

（5）、CMP(compare)仅用于比较一个表中的两个列的比较。

特点：<、 =、 >、 <= 、>=

（6）、WD(Word)，仅用于索引数据类型为WORD的列。
特点：‘CONTAINS’、LIKE操作（但没有‘%’）。

例子：

Select count(*) from Customer where address contains( ‘Main’)

（7）、DATE(date)仅用于日期类型的列。

（8）、DTTM(Datetime)仅用于日期时间类型的列。

（9）、TIME(Time)仅用于时间类型的列。

例子：
Select * from sales where DATAPART(YEAR,dales_dt) = 2007
Select * from sales where sales_dt>=‘2003-01-01 08：00：00’

(四) 创建表和索引

1 、创建表：

例子1：

CREATE TABLE employee(

Emp_id int NOT NULL

,lname varchar(30) NULL

,fname varchar(30) NULL

,salary money NULL)

例子2：

CREATE TABLE stores(

Store_id char(4) NOT NULL

,store_name varchar(20) NOT NULL

,store_address varchar(40) NOT NULL

,UNIQUE(store_id))

例子3：

CREATE TABLE products(

Product_code char(5) NOT NULL

,product varchar(40) NOT NULL

,price money NULL

PRIMARY KEY (products_code))

例子4：

CREATE TABLE sales(

Sales_code char(10) PRIMARY KEY

,sales_date DATE NOT NULL

,product_code char(5) NOT NULL

,FOREIGN KEY fk1(product_code) REFERENCES product (product_code))

例子5：

SELECT * INTO co_residential_customer from customer where 1=2

2 、用Sybase Central 可以在图形界面下创建表。

3 、删除表：DROP TABLE tablename

4 、删除表中的所有内容：TRUNCATE TABLE [owner.]table_name

5 、创建视图，语法：

CREATE VIEW [owner.]view_name[(column-name[, … ])]

AS select-without-order-by

[WITH CHECK OPTION]

例子1：

CREATE VIEW sd_customer AS SELECT * FROM customer

WHERE sheng = ‘ SD ’

例子2：

CREATE VIEW emp_dept

AS SELECT emp_home,emp_fname,dept_name

From Employee,Department

WHERE Employee.dept_id = Department.dept_id

5 、用Sybase Central 可以在图形界面下创建视图。

6 、创建索引：
CREATE [UNIQUE] [index-type] INDEX

Index_name ON

[owner.]table_name (column_name[, … ])

[{IN | ON} DBSpace_name]

[NOTIFY integer]

[DELIMITED BY ‘ separators-string ’ ]

[LIMIT maxwordsize-integer]

例子1：

CREATE HG INDEX

Cust_customer_id ON

Cutomer(customer_id)

例子2：

CREATE CMP INDEX price_compare

ON orders(purchase_price,list_cost)

7 、删除索引：

DROP INDEX [[owner.]tablename.]index_name
例子：
DROP INDEX cust_customer_id

(五) Sybase IQ 内存配置

1、 IQ 从单一的一个内存池中分配内存。

2、从操作系统层面来看，IQ Server的内存是由堆组成。

3、 Buffer ：内存中的一块区域，它存储了写入数据库或从数据库中读取的未解压的数据。

4、 IQ Page Size ：IQ Server中每一个内存页的大小。

5、 IQ Page Size/16=BLOCK SIZE

6、在启动服务器时，可以用参数-c来指定服务器缓存的初始大小。在所有平台中，这个值最大为256M。

7、 IQ Buffer 有两种类型：
（1）、主Buffer缓存：IQ Store的Buffer。（占总大小的40%）
（2）、临时Buffer：IQ temporary Buffer。（占总大小的60%）

8、在Sybase IQ server中一个活动的用户大约占用10M内存，一个非活动用户大约占5M内存。

风 2007-03-30 10:10 发表评论