理解SybaseIQ中的内存

View Post

1.1.
内存使用对SybaseIQ而言，内存越多越好，一般要求每个服务器的CPU配置内存2GB，数据装载需要动态使用额外的内存，计算使用缓存caches；降低IO的方法是使用大buffer caches；使用超出内存会导致频繁swapping；IQ从操作系统申请内存，从操作系统级别看SybaseIQ的内存为堆内存，所有的内存分配自动进行。IQ使用内存进行以下活动：

l
从磁盘读取数据并执行查询；

l
从系统平面文件加载时缓冲磁盘数据；

l
缓冲元数据文件 (Catalog)

l
管理连接，事务，缓冲区和数据库对象。

一个安装SybaseIQ的数据库服务器的典型内存分布如图所示：包括操作系统其他应用程序内存，服务器内存，额外内存，IQ存储缓存，临时存储缓存。

1.1.1.
服务器内存SybaseIQ服务器进程使用的内存，不同的操作系统平台其使用量存在差异，一般需要30MB。
1.1.2.
额外内存元数据缓存
由数据库启动选项 –c, -cl, 和 –ch参数控制使用RAM数量，专门用来作元数据库读写缓存，当数据库对象较多时，建议调大此数据。
线程内存
线程内存在数据库启动时分配给数据库服务器，用于线程的堆栈空间，总的空间数值按照公式“stack size * IQ 线程数量”计算，数据库启动参数–iqtss确定数据库的stack size大小单位KB。启动参数-iqmt指定IQ可以使用的线程数量，最小值是2*num_conn+1，缺省值是：
60*numCPU+2*num_conn+1
“活动”用户内存
每个Sybase IQ 用户对应一个连接进程，此进程大概需要 10MB空间；活动用户是指到数据库的一个连接或执行的查询命令，连接到数据库而不活动的用户需要更少的内存。
表版本内存
表版本内存在SybaseIQ运行时分配，通常这类内存非常小(每个被跟踪的表版本1KB到3KB)，通常为KB到MB，但是当系统中存在成千上万的表版本时，占用空间会比较大。
数据加载内存
SybaseIQ在进行数据加载时，分配内存提供数据加载性能，通过数据库选项LOAD_MEMORY_MB设定，缺省情况为0，表示堆内存的分配不受限制，如果数据加载时需要更多内存，可能导致数据加载耗尽虚拟内存，降低数据加载性能，一般建议设定此选项，其配置值可根据加载数据的表宽进行如下计算：
Load_Memory_MB = <表宽字节数> * 10,000 * 45 / 1024 / 1024
以下语句将数据加载内存设置成300MB：
SET OPTION PUBLIC.LOAD_MEMORY_MB = 300

数据库备份内存
数据库备份内存的大小与CPU个数、备份的IQ存储和本地存储的数据库空间个数，BLOCK的交错因子，IQ的BLOCK大小有关系。可以通过如下公式粗略估计：

y = max( 2 * cpu个数, 8 * number_of_main_or_local_dbspaces)
z = (y * 20 ) * ( block factor * block_size )
Z表示的是备份时需要的内存的虚拟估计值，假设如下情况：
dbspaces = 50
block factor = 100
number of cpus = 4
block_size = 8,192
采用上面的公式和算法，数据库备份时需要的内存总数是：
'y' is max(8, 400) è y=400
'z' is ( 400 * 20 ) * ( 100 * 8,192 ) è 6.5GB
备份内存来自操作系统，属于堆内存，当备份操作完成后，内存释放。当空间充足时，唯一可以控制备份内存使用的是块的交错因子，在前面的例子中，如果交错因子变成10，总的备份内存需求将降低到655MB：
( 400 * 20 ) * ( 10 * 8,192 ) è 655MB
在磁盘I/O不是瓶颈的情况下，在数据库备份时降低内存将减慢备份数度。数据库备份性能与磁盘子系统I/O的读写块性能一致，为减少I/O的额外开销，备份程序一次I/O中读入连续的块，相应地按照“块交错因子”写这些块数据。
通过“块交错因子”可以减少备份内存，增加可用的内存，以此计算数据库备份时需要的总内存量。
1.1.3.
数据库缓存数据库缓存是操作系统内存中分配用来保存从数据库中读出或者准备写入数据库的数据。SybaseIQ数据库缓存包括主存储缓存和临时存储缓存。参数设置可以通过数据库选项或者数据库启动配置文件。
主存储缓存
用于缓存数据库服务器从IQ存储中读取的数据，供 IQ 数据表空间的数据缓存使用，所有用户均可使用。较大的缓存可以降低磁盘的IO以提升性能，主存储缓存在数据库启动时初始化，缺省配置是16MB，对于大多数应用来说太小，修改此参数配置需要重新启动数据库。一般将IQ服务器可以使用的内存的40％分配给SybaseIQ主存储缓存。
临时存储缓存
SybaseIQ临时存储缓存用于数据查询时的表关联，分组，排序和哈系算法。数据加载时，也需要较多的临时存储缓存，例如HG索引的管理、FP索引加载时的1个字节和2个字节的字典表等。较大的临时存储缓存可以减少内存调度。
主存储缓存在数据库启动时初始化，缺省配置是12MB，对于大多数应用来说太小，修改此参数配置需要重新启动数据库。一般将IQ服务器可以使用的内存的60％分配给SybaseIQ的临时存储缓存。

posted on 2007-11-10 17:33 风阅读(1777) 评论(0) 编辑收藏所属分类: SybaseIQ 、数据仓库

新用户注册刷新评论列表


只有注册用户登录后才能发表评论。




网站导航: 博客园 IT新闻 Chat2DB C++博客博问管理
相关文章: Sybase IQ for Data Warehouse 培训总结(一) Sybase IQ for Data Warehouse 培训总结(二) Sybase IQ for Data Warehouse 培训总结(三) 理解SybaseIQ中的内存 Sybase IQ 12.6 的redhat AS4安装 Sybase IQ for Data Warehouse 培训总结(二)

风之语

常用链接

留言簿

随笔分类

随笔档案

相册

收藏夹

link

My wife

最新随笔

搜索

积分与排名

最新评论

阅读排行榜

评论排行榜

View Post

理解SybaseIQ中的内存