BlogJava-沉睡森林@漂在北京-随笔分类-DataBase

讲解大型数据库的设计原则与开发技巧

wangchangbing — Tue, 16 Mar 2010 05:09:00 GMT

讲解大型数据库的设计原则与开发技巧
原文引自：http://tech.ccidnet.com/art/1105/20080315/1391565_1.html
目前，计算机技术已经广泛地应用于国民经济的各个领域当中，在计算机硬件不断微型化的同时，应用系统也逐渐向着复杂化、大型化的方向发展。数据库是整个系统的核心，它的设计直接关系系统执行的效率和系统的稳定性。因此在软件系统开发中，数据库设计应遵循必要的数据库范式理论，以减少冗余、保证数据的完整性与正确性。只有在合适的数据库产品上设计出合理的数据库模型，才能降低整个系统的编程和维护难度，提高系统的实际运行效率。虽然对于小项目或中等规模的项目开发人员可以很容易地利用范式理论设计出一套符合要求的数据库，但对于一个包含大型数据库的软件项目，就必须有一套完整的设计原则与技巧。
一、成立数据小组
大型数据库数据元素多，在设计上有必要成立专门的数据小组。由于数据库设计者不一定是使用者，对系统设计中的数据元素不可能考虑周全，数据库设计出来后，往往难以找到所需的库表，因此数据小组最好由熟悉业务的项目骨干组成。
数据小组的职能并非是设计数据库，而是通过需求分析，在参考其他相似系统的基础上，提取系统的基本数据元素，担负对数据库的审核。审核内容包括审核新的数据库元素是否完全、能否实现全部业务需求；对旧数据库（如果存在旧系统）的分析及数据转换；数据库设计的审核、控制及必要调整。
二、设计原则
１．规范命名。所有的库名、表名、域名必须遵循统一的命名规则，并进行必要说明，以方便设计、维护、查询。
２．控制字段的引用。在设计时，可以选择适当的数据库设计管理工具，以方便开发人员的分布式设计和数据小组的集中审核管理。采用统一的命名规则，如果设计的字段已经存在，可直接引用；否则，应重新设计。
３．库表重复控制。在设计过程中，如果发现大部分字段都已存在，开发人员应怀疑所设计的库表是否已存在。通过对字段所在库表及相应设计人员的查询，可以确认库表是否确实重复。
４．并发控制。设计中应进行并发控制，即对于同一个库表，在同一时间只有一个人有控制权，其他人只能进行查询。
５．必要的讨论。数据库设计完成后，数据小组应与相关人员进行讨论，通过讨论来熟悉数据库，从而对设计中存在的问题进行控制或从中获取数据库设计的必要信息。
６．数据小组的审核。库表的定版、修改最终都要通过数据小组的审核，以保证符合必要的要求。
７．头文件处理。每次数据修改后，数据小组要对相应的头文件进行修改（可由管理软件自动完成），并通知相关的开发人员，以便进行相应的程序修改。
三、设计技巧
１．分类拆分数据量大的表。对于经常使用的表（如某些参数表或代码对照表），由于其使用频率很高，要尽量减少表中的记录数量。例如，银行的户主账表原来设计成一张表，虽然可以方便程序的设计与维护，但经过分析发现，由于数据量太大，会影响数据的迅速定位。如果将户主账表分别设计为活期户主账、定期户主账及对公户主账等，则可以大大提高查询效率。
２．索引设计。对于大的数据库表，合理的索引能够提高整个数据库的操作效率。在索引设计中，索引字段应挑选重复值较少的字段；在对建有复合索引的字段进行检索时，应注意按照复合索引字段建立的顺序进行。例如，如果对一个５万多条记录的流水表以日期和流水号为序建立复合索引，由于在该表中日期的重复值接近整个表的记录数，用流水号进行查询所用的时间接近３秒；而如果以流水号为索引字段建立索引进行相同的查询，所用时间不到１秒。因此在大型数据库设计中，只有进行合理的索引字段选择，才能有效提高整个数据库的操作效率。
３．数据操作的优化。在大型数据库中，如何提高数据操作效率值得关注。例如，每在数据库流水表中增加一笔业务，就必须从流水控制表中取出流水号，并将其流水号的数值加一。正常情况下，单笔操作的反应速度尚属正常，但当用它进行批量业务处理时，速度会明显减慢。经过分析发现，每次对流水控制表中的流水号数值加一时都要锁定该表，而该表却是整个系统操作的核心，有可能在操作时被其他进程锁定，因而使整个事务操作速度变慢。对这一问题的解决的办法是，根据批量业务的总笔数批量申请流水号，并对流水控制表进行一次更新，即可提高批量业务处理的速度。另一个例子是对插表的优化。对于大批量的业务处理，如果在插入数据库表时用普通的Ｉｎｓｅｒｔ语句，速度会很慢。其原因在于，每次插表都要进行一次Ｉ/Ｏ操作，花费较长的时间。改进后，可以用Ｐｕｔ语句等缓冲区形式等满页后再进行Ｉ/Ｏ操作，从而提高效率。对大的数据库表进行删除时，一般会直接用Ｄｅｌｅｔｅ语句，这个语句虽然可以进行小表操作，但对大表却会因带来大事务而导致删除速度很慢甚至失败。解决的方法是去掉事务，但更有效的办法是先进行Ｄｒｏｐ操作再进行重建。
４．数据库参数的调整。数据库参数的调整是一个经验不断积累的过程，应由有经验的系统管理员完成。以Ｉｎｆｏｒｍｉｘ数据库为例，记录锁的数目太少会造成锁表的失败；逻辑日志的文件数目太少会造成插入大表失败等，这些问题都应根据实际情况进行必要的调整。
５．必要的工具。在整个数据库的开发与设计过程中，可以先开发一些小的应用工具，如自动生成库表的头文件、插入数据的初始化、数据插入的函数封装、错误跟踪或自动显示等，以此提高数据库的设计与开发效率。
６．避免长事务。对单个大表的删除或插入操作会带来大事务，解决的办法是对参数进行调整，也可以在插入时对文件进行分割。对于一个由一系列小事务顺序操作共同构成的长事务（如银行交易系统的日终交易），可以由一系列操作完成整个事务，但其缺点是有可能因整个事务太大而使不能完成，或者，由于偶然的意外而使事务重做所需的时间太长。较好的解决方法是，把整个事务分解成几个较小的事务，再由应用程序控制整个系统的流程。这样，如果其中某个事务不成功，则只需重做该事务，因而既可节约时间，又可避免长事务。
７．适当超前。计算机技术发展日新月异，数据库的设计必须具有一定前瞻性，不但要满足当前的应用要求，还要考虑未来的业务发展，同时必须有利于扩展或增加应用系统的处理功能。
与小型数据库相比，大型数据库的设计与开发要复杂得多，因此在设计、开发过程中，除了要遵循数据库范式理论、增加系统的一致性和完整性外，还要在总体上根据具体情况进行分布式设计，紧紧把握集中控制、统一审核的基本原则，保证数据库设计结构紧凑、分布平衡、定位迅速。在数据库操作上，要采用一定的技巧提高整个应用系统的执行效率，并注意适当超前，以适应不断变化的应用及系统发展的要求。（

wangchangbing 2010-03-16 13:09 发表评论

关于oracle中varchar2的最大长度

wangchangbing — Mon, 15 Mar 2010 06:29:00 GMT

关于 varchar2 的最大长度
varchar2有两个最大长度：一个是在字段类型4000；一个是在PL/SQL中变量类型32767。今天犯了一个小错误，就是函数的varchar2类型的返回值长度也是4000，而不是我以为的32767。

想了一下，这是一个比较容易出错的地方。因为在函数中我可以声明长度超过4000的字符串变量，并且将它作为返回值，这里是不会提示编译错误的。这个函数平时都可以正常执行，而一旦这个字符串长度超过4000，函数执行就会出错。所以这个问题虽然比较简单，仍然记录一下。

C:\Documents and Settings\yuechao.tianyc>sqlplus

SQL*Plus: Release 10.2.0.1.0 - Production on 星期二 5月 5 17:15:59 2009

Copyright (c) 1982, 2005, Oracle.  All rights reserved.

请输入用户名:  test/test

连接到:
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, OLAP and Data Mining options

SQL> create or replace function funny return varchar2
  2  is
  3    v_yct varchar2(32767);
  4  begin
  5    v_yct := rpad('a', 4001, 'b');
  6    return v_yct;
  7  end;
  8  /

函数已创建。

SQL> select funny from dual;
select funny from dual
       *
第 1 行出现错误:
ORA-06502: PL/SQL: 数字或值错误 :  字符串缓冲区太小
ORA-06512: 在 "TEST.FUNNY", line 6

本来以为记录下来就好。刚才跟一位同事讨论了一下，认为有可能在schema级varchar2的长度限制都是4000，而在PL/SQL代码级的长度限制是32767。下面继续测试：

-- 1. 作为函数入参的限制是32767
SQL> create or replace function funny( p_char in varchar2 ) return number
  2  is
  3  begin
  4    return length(p_char);
  5  end;
  6  /

函数已创建。

SQL> declare
  2    v_char varchar2(32767);
  3  begin
  4    v_char := rpad('a', 32767, 'b');
  5    dbms_output.put_line(funny(v_char));
  6  end;
  7  /
32767

PL/SQL 过程已成功完成。

-- 2. 同样的函数，在schema级和在PL/SQL代码级长度限制不同
SQL> select length(rpad('a', 4001, 'b')) from dual;

LENGTH(RPAD('A',3276558,'B'))
-----------------------------
                         4000

SQL> begin
  2    dbms_output.put_line(length(rpad('a', 4001, 'b')));
  3  end;
  4  /
4001

PL/SQL 过程已成功完成。

如果中间结果字符串长度超过限制会怎样呢？

（1）在PL/SQL中，如果中间结果超过32767，没有影响：

SQL> declare
  2    v_char1 varchar2(32767);
  3    v_char2 varchar2(32767);
  4    v_char3 varchar2(10);
  5  begin
  6    v_char1 := lpad('a', 32767, 'a');
  7    v_char2 := lpad('b', 32767, 'b');
  8    v_char3 := substr(v_char1 || v_char2, 32763, 10);
  9    dbms_output.put_line(v_char3);
10  end;
11  /
aaaaabbbbb

PL/SQL 过程已成功完成。

（2）在schema级如果中间结果超过4000，会提示错误：

SQL> select substr(rpad('a', 4000, 'a')||rpad('b', 4000, 'b'), 3996, 10) from dual;
select substr(rpad('a', 4000, 'a')||rpad('b', 4000, 'b'), 3996, 10) from dual
                                                                         *
第 1 行出现错误:
ORA-01489: 字符串连接的结果过长

如果字符串长度超过限制怎么办？可以使用CLOB类型。比如最开始的那个例子，可以将返回值改为CLOB类型：

SQL> create or replace function funny return clob
  2  is
  3    v_yct varchar2(32767);
  4  begin
  5    v_yct := rpad('a', 4001, 'b');
  6    return v_yct;
  7  end;
  8  /

函数已创建。

SQL> select funny from dual;

FUNNY
--------------------------------------------------------------------------------
abbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb

SQL> set long 10000
SQL> select funny from dual;
FUNNY
--------------------------------------------------------------------------------
abbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb
bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb
bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb
bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb
.

这样返回字符串的最大长度就是32767了。

wangchangbing 2010-03-15 14:29 发表评论

[转]什么是savepoint？

wangchangbing — Fri, 05 Mar 2010 01:06:00 GMT

什么是savepoint?
Use the SAVEPOINT statement to identify a point in a transaction to which you can later roll back.
例如：
SQL> SELECT * FROM SCOTT.DEPT  ;

DEPTNO DNAME          LOC
------ -------------- -------------
    10 ACCOUNTING     NEW YORK
    20 RESEARCH       DALLAS
    30 SALES          CHICAGO
    40 OPERATIONS     BOSTON
SQL> UPDATE SCOTT.DEPT  SET loc ='a' WHERE loc='NEW YORK';

1 row updated
SQL> SAVEPOINT a;

Savepoint created
SQL> UPDATE SCOTT.DEPT  SET loc ='b' WHERE loc='DALLAS';

1 row updated
SQL> SAVEPOINT b;

Savepoint created
SQL> ROLLBACK TO SAVEPOINT a;

Rollback complete
SQL> COMMIT;

Commit complete
SQL> SELECT * FROM SCOTT.DEPT  ;

DEPTNO DNAME          LOC
------ -------------- -------------
    10 ACCOUNTING     a
    20 RESEARCH       DALLAS
    30 SALES          CHICAGO
    40 OPERATIONS     BOSTON

事务中的Savepoints
你可以在事务上下文中声明称为savepoint的中间标记。Savepoint将一个长事务分隔为较小的部分。
使用savepoint，你可以在长事务中任何点任意标记你的操作。然后你可以选择回滚在事务中当前点之前、声明的savepoint之后执行的操作。比如，你可以在一长段复杂的更新中使用savepoint，如果犯了个错，你不需要重新提交所有语句。
Savepoints在应用程序中同样有用。如果一个过程包含几个函数，那可以在每个函数前创建一个savepoint。如果一个函数失败，返回数据到函数开始前的状态并在修改参数或执行一个恢复操作后重新运行函数就非常容易。
在回滚到一个savepoint后，Oracle释放由被回滚的语句持有的锁。其他等待之前被锁资源的事务可以进行了。其他要更新之前被锁行的事务也可以执行。
当一个事务回滚到一个savepoint，发生下列事件：
1. Oracle仅回滚savepoint之后的语句。
2. Oracle保留这一savepoint，但所有建立于此后的savepoints丢失。
3. Oracle释放在该savepoint后获得的所有表、行锁，但保留之前获得的所有锁。
事务保持活动并可继续。
无论何时一个会话在等待事务，到savepoint的回滚不会释放行锁。为了确保事务如果无法获得锁也不会悬挂（hang），在执行UPDATE或DELETE前使用FOR UPDATE ... NOWAIT。（这里指回滚的savepoint之前获得的锁。该savepoint后获得的行锁会被释放，之后执行的语句也会被彻底回滚。）


注意：
1.savepoint 名字保持唯一
2.如果后面新设置的一个savepoint的名字和前面的一个savepoint名字重复，前一个savepoint将被取消
3.设置savepoint后，事务可以继续commit,全部回退或者回退到具体一个savepoints
(Savepoint names must be distinct within a given transaction. If you create a second savepoint with the same identifier as an earlier savepoint, then the earlier savepoint is erased. After a savepoint has been created, you can either continue processing, commit your work, roll back the entire transaction, or roll back to the savepoint.)
4.撤销的处理必须是在没有发出commit命令的前提下才能有效。
如下：在commit;后执行rollback to savepoint失败
SQL> SELECT * FROM SCOTT.DEPT  ;

DEPTNO DNAME          LOC
------ -------------- -------------
    10 ACCOUNTING     NEW YORK
    20 RESEARCH       DALLAS
    30 SALES          CHICAGO
    40 OPERATIONS     BOSTON
SQL> UPDATE SCOTT.DEPT  SET loc ='a' WHERE loc='NEW YORK';

1 row updated
SQL> SAVEPOINT a;

Savepoint created
SQL> UPDATE SCOTT.DEPT  SET loc ='b' WHERE loc='DALLAS';

1 row updated
SQL> SAVEPOINT b;

Savepoint created
SQL> COMMIT;

Commit complete
SQL> ROLLBACK TO SAVEPOINT a;

ROLLBACK TO SAVEPOINT a

ORA-01086: 从未创建保留点 'A'
SQL> SELECT * FROM SCOTT.DEPT  ;

DEPTNO DNAME          LOC
------ -------------- -------------
    10 ACCOUNTING     a
    20 RESEARCH       b
    30 SALES          CHICAGO
    40 OPERATIONS     BOSTON

wangchangbing 2010-03-05 09:06 发表评论

oracle常用的监控语句

wangchangbing — Wed, 03 Feb 2010 09:09:00 GMT

--根据FILE_ID & BLOCK_ID获得对象名称
SELECT /*+ RULE*/ owner, segment_name, segment_type
FROM dba_extents
WHERE file_id = &file_id
   AND &block_id BETWEEN block_id AND block_id + blocks - 1;

--根据操作系统PID,查询SESSION信息
SELECT a.sid, a.serial#, b.spid, a.terminal, a.machine, a.program, a.osuser
FROM v$session a, v$process b
WHERE a.paddr = b.addr AND b.spid = '&SPID';

--根据SESSION SID,查询操作系统PID
SELECT a.sid, a.serial#, b.spid, a.terminal, a.machine, a.program, a.osuser
FROM v$session a, v$process b
WHERE a.paddr = b.addr AND a.sid = '&SID';

--查询用户正在执行的SQL
SELECT sql_text
FROM v$sqltext
WHERE hash_value = (SELECT sql_hash_value
                       FROM v$session
                      WHERE sid = &sid)
ORDER BY piece;

--查询当前的系统等待事件
SELECT *
FROM v$session_wait
WHERE event NOT LIKE '%SQL*Net%'
   AND event NOT LIKE '%rdbms%'
   AND event NOT LIKE '%timer%'
   AND event NOT LIKE '%jobq%'
ORDER BY event, seconds_in_wait;

--查询详细的当前系统等待事件
SELECT s.sid, s.username, w.seq#, w.event, w.p1text, w.p1, w.p2text, w.p2, w.p3text, w.p3,
       w.seconds_in_wait, w.state, s.logon_time, s.osuser, s.program
FROM v$session s, v$session_wait w
WHERE s.sid = w.sid
   AND w.event NOT LIKE '%SQL*Net%'
   AND w.event NOT LIKE '%rdbms%'
   AND w.event NOT LIKE '%timer%'
   AND w.event NOT LIKE '%jobq%'
ORDER BY w.event, w.seconds_in_wait;

--查询等待db file sequential/scattered read的Session正在执行的SQL
SELECT s.sid, s.username, t.hash_value, t.piece, t.sql_text
FROM v$session s, v$session_wait w, v$sqltext t
WHERE s.sid = w.sid
   AND s.sql_hash_value = t.hash_value
   AND w.event IN ('db file sequential read', 'db file scattered read')
ORDER BY s.sid, t.piece;

--查询等待db file sequential/scattered read对应的数据库对象
SELECT /*+ RULE*/ s.sid, s.username, w.seq#, w.event,
       d.segment_type, d.owner || '.' || d.segment_name AS segment_name,
       w.seconds_in_wait, w.state, s.logon_time
FROM v$session s, v$session_wait w, dba_extents d
WHERE s.sid = w.sid
   AND d.file_id = w.p1
   AND w.p2 BETWEEN d.block_id AND d.block_id + d.blocks - 1
   AND w.event IN ('db file sequential read', 'db file scattered read')
ORDER BY w.event, segment_name;

--查询导致LOCK的SID,SPID,LOCKED_OBJECT,LOCK_TYPE等信息
SELECT /*+ RULE*/
       l.sid, p.spid, s.username,s.logon_time, s.osuser, s.program, l.type,
       CASE l.TYPE WHEN 'TM' THEN O.object_name WHEN 'TX' THEN '' END as OBJECT_NAME,
       DECODE (l.lmode, 0, '0=NONE', 1, '1=NULL', 2, '2=RS', 3, '3=RX', 4, '4=S', 5, '5=SRX', 6, '6=X') lmode,
       CASE l.request WHEN 0 THEN '' ELSE 'BLOCKED BY ' || l.id2 END as BLOCKED,
       CASE l.block WHEN 0 THEN '' ELSE l.id2 || ' IS BLOCKING' END as BLOCKING,
       l.request, l.ctime
FROM v$lock l, v$session s, dba_objects o, v$process p
WHERE l.type in ('TX', 'TM')
   AND s.paddr = p.addr
   AND l.sid = s.sid
   AND l.id1 = o.object_id(+)
ORDER BY s.username, l.sid, l.ctime;

--查询导致DDL LOCK的详细信息
SELECT s.sid, p.spid, s.username, a.owner || '.' || a.NAME AS OBJECT_NAME,
       a.TYPE, a.mode_held, a.mode_requested, s.osuser, s.logon_time, s.program
FROM dba_ddl_locks a, v$session s, v$process p
WHERE s.sid = a.session_id
   AND s.paddr = p.addr
   AND (a.mode_held = 'Exclusive' OR a.mode_requested = 'Exclusive')
ORDER BY s.USERNAME, a.NAME;

--查询事务使用的回滚段
SELECT s.username, s.sid, s.serial#, t.ubafil "UBA filenum",
       t.ubablk "UBA Block number", t.used_ublk "Number of undo Blocks Used",
       t.start_time, t.status, t.start_scnb, t.xidusn rollid, r.name rollname
FROM v$session s, v$transaction t, v$rollname r
WHERE s.saddr = t.ses_addr AND t.xidusn = r.usn;
####################################################################################################

--查询LIBRARY CACHE PIN等待事件等待的对象
--视图缩写:[K]ernel [G]eneric [L]ibrary Cache Manager [OB]ject
SELECT /*+ RULE*/ addr, kglhdadr, kglhdpar, kglnaobj, kglnahsh, kglhdobj
FROM x$kglob
WHERE kglhdadr IN (SELECT p1raw
                      FROM v$session_wait
                     WHERE event LIKE '%library%');

--查询LIBRARY CACHE PIN等待事件中持有被等待对象的SESSION信息
--视图缩写:[K]ernel [G]eneric [L]ibrary Cache Manager Object [P]i[N]s
SELECT /*+ RULE*/ a.SID, a.username, a.program, b.addr, b.kglpnadr, b.kglpnuse,
       b.kglpnses, b.kglpnhdl, b.kglpnlck, b.kglpnmod, b.kglpnreq
FROM v$session a, x$kglpn b
WHERE a.saddr = b.kglpnuse
   AND b.kglpnmod <> 0
   AND b.kglpnhdl IN (SELECT p1raw
                        FROM v$session_wait
                       WHERE event LIKE '%library%');

--查询LIBRARY CACHE PIN等待事件中持有被等待对象的SESSION执行的SQL语句
SELECT sql_text
FROM v$sqlarea
WHERE (v$sqlarea.address, v$sqlarea.hash_value) IN (
          SELECT sql_address, sql_hash_value
            FROM v$session
           WHERE SID IN (
                    SELECT /*+ RULE*/ SID
                      FROM v$session a, x$kglpn b
                     WHERE a.saddr = b.kglpnuse
                       AND b.kglpnmod <> 0
                       AND b.kglpnhdl IN (SELECT p1raw
                                            FROM v$session_wait
                                           WHERE event LIKE '%library%')));

--查询哪个SESSION正在使用某个对象(LIBRARY CACHE)
SELECT DISTINCT s.sid,
                s.username,
                s.logon_time,
                s.osuser,
                s.program,
                b.kglnahsh as SQL_HASH_VALUE,
                b.kglnaobj as SQL_TEXT
FROM v$session s, x$kglpn n, x$kglob b
WHERE n.kglpnuse = s.saddr
   AND upper(b.kglnaobj) LIKE upper('%&OBJECT_NAME%')
   AND n.kglpnhdl = b.kglhdadr;

--查询V$SESSION_WAIT用户PIN住了哪些对象(LIBRARY CACHE)
SELECT DISTINCT s.sid,
                s.username,
                s.logon_time,
                s.osuser,
                s.program,
                n.kglpnmod,
                b.kglnahsh AS SQL_HASH_VALUE,
                b.kglnaobj AS SQL_TEXT
FROM v$session s, x$kglpn n, x$kglob b
WHERE n.kglpnuse = s.saddr
   AND n.kglpnhdl = b.kglhdadr
   AND s.sid IN (SELECT sid
                   FROM v$session_wait
                  WHERE event NOT LIKE '%SQL*Net%'
                    AND event NOT LIKE '%rdbms%'
                    AND event NOT LIKE '%timer%'
                    AND event NOT LIKE '%jobq%')
ORDER BY s.username;

--查询哪些大对象被载入SHARED POOL时导致其它对象被老化
SELECT s.sid, s.username, s.logon_time, s.osuser, s.program,
       k.ksmlrcom, k.ksmlrsiz, k.ksmlrnum, k.ksmlrhon, k.ksmlrses
FROM x$ksmlru k, v$session s
WHERE s.saddr = k.ksmlrses
   AND ksmlrsiz > 0;
####################################################################################################

--查询Schema哪些表是全表扫描
SELECT o.name, x.tch
FROM obj$ o, x$bh x, dba_users u
WHERE x.obj = o.dataobj#
   AND STANDARD.bitand(x.flag, 524288) > 0
   AND u.username = UPPER('&username')
ORDER BY x.tch DESC;

--查询低效率的SQL(BUFFER_GETS排序)
SELECT *
FROM (SELECT s.sid,
               b.spid,
               s.sql_hash_value,
               q.sql_text,
               q.executions,
               q.buffer_gets,
               ROUND(q.buffer_gets / q.executions) AS buffer_per_exec,
               ROUND(q.elapsed_time / q.executions) AS cpu_time_per_exec,
               q.cpu_time,
               q.elapsed_time,
               q.disk_reads,
               q.rows_processed
          FROM v$session s, v$process b, v$sql q
         WHERE s.sql_hash_value = q.hash_value
           AND s.paddr = b.addr
           AND s.status = 'ACTIVE'
           AND s.TYPE = 'USER'
           AND q.buffer_gets > 0
           AND q.executions > 0
         ORDER BY buffer_per_exec DESC)
WHERE ROWNUM <= 10;
####################################################################################################

--监控BufferCache命中率
SELECT a.value + b.value logical_reads, c.value phys_reads,
       ROUND (100 * (1 - c.value / (a.value + b.value)), 4) hit_ratio
FROM v$sysstat a, v$sysstat b, v$sysstat c
WHERE a.NAME = 'db block gets'
   AND b.NAME = 'consistent gets'
   AND c.NAME = 'physical reads';

--监控LibraryCache命中率
SELECT SUM (pins) total_pins, SUM (reloads) total_reloads,
       SUM (reloads) / SUM (pins) * 100 libcache_reload_ratio
FROM v$librarycache;

--查询产生的跟踪文件名
SELECT p1.VALUE || '/' || p2.VALUE || '_ora_' || p.spid || '.trc' filename
FROM v$process p, v$session s, v$parameter p1, v$parameter p2
WHERE p1.NAME = 'user_dump_dest'
   AND p2.NAME = 'db_name'
   AND p.addr = s.paddr
   AND s.audsid = USERENV ('SESSIONID');

--删除表中的重复记录
DELETE FROM table_name a
      WHERE ROWID >
               (SELECT MIN (ROWID)
                  FROM table_name b
                 WHERE b.pk_column_1 = a.pk_column_1
                   AND b.pk_column_2 = a.pk_column_2);

wangchangbing 2010-02-03 17:09 发表评论

又回到了从前

wangchangbing — Tue, 02 Feb 2010 04:37:00 GMT

还记得07年快要毕业那会，在林业局给他们出报表，不停的写sql，写存储过程。但是最后还没有开始测试，就离开了武汉来北京了。来北京的2年多时间了，发现好像回到了原来的起点，因为又开始不停的写sql，写存储过程。我很担心，原来是我一个人在写，现在是安排好几个人在写。原来是实习，现在是上班。我担心这些东西还是会很以前一样，根本无法使用，但是我也无能为力，没有人提供有帮助的意见。又回到了从前。

wangchangbing 2010-02-02 12:37 发表评论

存储过程事务控制

wangchangbing — Tue, 26 Jan 2010 10:58:00 GMT

存储过程里的事务操作：
create or replace procedure pr_mypro2(p_a in varchar2,p_b in varchar2,p_count out number)
temp varchar2(1000);   /**//*定义临时变量*/
is
begin
select code into p_count from table1 where a=p_a; /**//*查询并返回值*/
temp := p_count;  /**//*将返回值赋给临时变量*/
savepoint point1;  /**//*保存点*/
insert into table2(a,b)values(temp,p_b); /**//*将临时变量值添加到新表的字段*/
savepoint point2;
insert into

exception
      when   others   then
          rollback to savepoint point1;  /**//*异常处理，保存点下面的操作都不会被执行*/
         return;
end;

    保存点
(SAVEPOINT)是事务处理过程中的一个标志，与回滚命令(ROLLBACK)结合使用，主要的用途是允许用户将某一段处理回滚而不必回滚整个事务。
      如果定义了多个savepoint，当指定回滚到某个savepoint时，那么回滚操作将回滚这个savepoint后面的所有操作（即使后面可能标记了N个savepoint）。
例如，在一段处理中定义了五个savepoint，从第三个savepoint回滚，后面的第四、第五个标记的操作都将被回滚，如果不使用ROLLBACK TO savepoint_name而使用ROLLBACK，将会滚整个事务处理。

wangchangbing 2010-01-26 18:58 发表评论

[转]ODI定时任务

wangchangbing — Wed, 02 Sep 2009 01:44:00 GMT

我当时就是按照这个文章学会如何配置ODI的定时任务的。具体地址：http://www.dbform.com/html/2008/516.html

对于设置ODI的定时执行场景，需要启动Scheduler Agent，在一个新的ODI安装完毕之后，默认的odiparams.bat文件中设置的是连接DEMO环境的数据库连接配置，如果我们在自己的数据库里创建了Master Repository和Work Repository，那么需要修改连接参数。

在我的测试环境中，我使用的是自己机器上Oracle 11g数据库，实例名是orcl11g，则需要做如下修改：

set ODI_SECU_DRIVER=oracle.jdbc.driver.OracleDriver
set ODI_SECU_URL=jdbc:oracle:thin:@localhost:1521:orcl11g
set ODI_SECU_USER=snpm
set ODI_SECU_ENCODED_PASS=b9yX4CpBkdmaP8Y3mYbaoye2p
set ODI_SECU_WORK_REP=WORKREP1
set ODI_USER=SUPERVISOR
set ODI_ENCODED_PASS=hZypfAZQf.Yo8VWVI6HZzc

其中：
ODI_SECU_USER需要设置为创建Master Repository时候的用户名，在这里是snpm。
ODI_SECU_ENCODED_PASS需要用agent实用程序加密一下，用法是agent encode %PASSWORD%。
ODI_SECU_WORK_REP设置为创建Work Repository时候起的名字。
ODI_USER默认是SUPERVISOR，这是连接ODI的用户名。
ODI_ENCODED_PASS默认是SUNOPSIS，也需要用agent encode加密之后的值。

设置完毕，启动Scheduler Agent，会遇到下面的错误：
java.lang.Exception: Agent is not declared in Topology Manager

我们还需要在Topology Manager -> Physical Architecture -> Agents里面创建一个Agent，填写Agent的名字，监听的机器，端口。如果需要设置Schedule，还需要在Topology Manager -> Logical Architecture -> Agents里面再创建一个Agent，将刚才创建的Physical Agent和此Logical Agent绑定在一起。

然后，在Designer -> Projects -> Scenarios -> Scheduling中创建一个执行计划，之后再次启动Scheduler Agent就OK了。

C:\OraODI\oracledi\bin>agentscheduler “-port=20910″ “-NAME=myFirstAgent”
A JDK is required to execute Web Services with OracleDI. You are currently using a JRE.
OracleDI: Starting Scheduler Agent …
Starting Oracle Data Integrator Agent…
Version : 10.1.3.4.0 – 30/10/2007
Agent in scheduling mode
Number of items for scheduled executions:0
08/17/2008 02:58:09 PM(main): Server Launched
Aug 17, 2008 3:06:27 PM com.sunopsis.j.s a
INFO: Start Thread[1001@2008/08/17_03:06:27:000,5,main] @ Aug 17, 2008 3:06:27 PM

最后一行显示了在Schedule中定义的计划被执行成功。

在Windows操作系统中可以把Agent程序设置为Service，通过以下命令设置，其中倒数两个参数分别为Physical Agent Name和Agent Port：
agentservice.bat -i -s myFirstAgent 20910

运行成功之后，将会产生OracleDI Agent Scheduler myFirstAgent这样命名的Windows服务。

通过以下命令可以删除创建的服务：
agentservice.bat -r -s myFirstAgent

wangchangbing 2009-09-02 09:44 发表评论

oracle的flashback功能使用

wangchangbing — Thu, 18 Jun 2009 07:00:00 GMT

alter table table_name enable row movement;

flashback table table_name to timestamp(to_date('20090618 13:00:00','yyyymmdd hh24:mi:ss'))

wangchangbing 2009-06-18 15:00 发表评论

oracle包——AJ_SHOWCASETABLE

wangchangbing — Thu, 21 May 2009 06:39:00 GMT

摘要: Code highlighting produced by Actipro CodeHighlighter (freeware) http://www.CodeHighlighter.com/ -->drop package LQ / /*==============================================================... 阅读全文

wangchangbing 2009-05-21 14:39 发表评论

oracle包—— TRANSPORT_CHECK

wangchangbing — Thu, 21 May 2009 06:38:00 GMT

摘要: Code highlighting produced by Actipro CodeHighlighter (freeware) http://www.CodeHighlighter.com/ -->drop package TRANSPORT_CHECK / /*=================================================... 阅读全文

wangchangbing 2009-05-21 14:38 发表评论

oracle包，动态执行sql—— TESTFUNINPROC

wangchangbing — Thu, 21 May 2009 06:37:00 GMT

drop package TESTFUNINPROC
/

/*==============================================================*/
/* Database package: TESTFUNINPROC                              */
/*==============================================================*/
create or replace package TESTFUNINPROC as
   type OUTLIST is REF CURSOR;
   function TESTFUN (TYPENUM IN varchar2) return outlist;
   procedure TESTPROC (TYPENUM IN varchar2,RESULT OUT outlist);
end TESTFUNINPROC;
/

create or replace package body TESTFUNINPROC as
   function TESTFUN (TYPENUM IN varchar2) return outlist as
   rc outlist;
     Begin
           open rc for
         select *
         from GG_BOOK book
         where book.BOOK_ZBLX = typeNum ;
         return rc;
     End;
   procedure TESTPROC (TYPENUM IN varchar2,RESULT OUT outlist) as
   Begin
            result := hblz_new.TestFunInProc.testFun(typeNum);
     End;
end TESTFUNINPROC;
/

wangchangbing 2009-05-21 14:37 发表评论

oracle包—— CUT_COUNTSENDBOOK

wangchangbing — Thu, 21 May 2009 06:36:00 GMT

摘要: Code highlighting produced by Actipro CodeHighlighter (freeware) http://www.CodeHighlighter.com/ -->drop package CUT_COUNTSENDBOOK / /*===============================================... 阅读全文

wangchangbing 2009-05-21 14:36 发表评论

oracle函数包—— COMMON_FUNCTION

wangchangbing — Thu, 21 May 2009 06:35:00 GMT

摘要: Code highlighting produced by Actipro CodeHighlighter (freeware) http://www.CodeHighlighter.com/ -->drop package COMMON_FUNCTION / /*=================================================... 阅读全文

wangchangbing 2009-05-21 14:35 发表评论

发一个很久以前的oracle包代码——CUT_COUNTQUOTA

wangchangbing — Thu, 21 May 2009 06:30:00 GMT

摘要: Code highlighting produced by Actipro CodeHighlighter (freeware) http://www.CodeHighlighter.com/ -->drop package CUT_COUNTQUOTA / /*==================================================... 阅读全文

wangchangbing 2009-05-21 14:30 发表评论

ODI的一点整理

wangchangbing — Thu, 21 May 2009 06:25:00 GMT

最近一直没有文章，今天发一点在工作中遇到的问题。主要是oracle的etl产品odi的相关问题，在OTN论坛上面很快找到了答案。下面抄录论坛里面的发帖和回复，减少我打字的数量。

Hi,

I have two tables with same structure. Now I want to union the data from these two table and load the result in target table. How can I achieve this functionality in ODI? In formatica this can be done using UNION Transformation but I don't know about ODI.
Please help.

Thanks,
Monika

Hi Monika,

Union transformation cannot be done by Interface in ODI.

There are three option in ODI to achieve your task

1) you need to create two interfaces like int1 and int2
where int1 will transfer the data from tab1(source) to target table and int2 will transfer the tab2(source) to target table.

2) In second option, create a view for the union of tab1 and tab2 and use that view as source in the interafce to tranfer the union data to target. In this method we can achive this by single interface.

3) create the ODI procedure with a sql query of insert into target_table (select * from tab1 union select * from tab2).

Thanks,
Madha.

wangchangbing 2009-05-21 14:25 发表评论