千万人同时访问的网站，一般是有很多个数据库同时工作，说明白一点就是数据库集群和并发控制，这样的网站实时性也是相对的。这些网站都有一些共同的特点：数据量大，在线人数多，并发请求多，pageview高，响应速度快。总结了一下各个大网站的架构，主要提高效率及稳定性的几个地方包括：
1、程序
程序开发是一方面，系统架构设计（硬件+网络+软件）是另一方面。
软件架构方面，做网站首先需要很多web服务器存储静态资源，比如图片、视频、静态页等，千万不要把静态资源和应用服务器放在一起。
一个好的程序员写出来的程序会非常简洁、性能很好，一个初级程序员可能会犯很多低级错误，这也是影响网站性能的原因之一。
网站要做到效率高，不光是程序员的事情，数据库优化、程序优化这是必须的，在性能优化上要数据库和程序齐头并进！缓存也是两方面同时入手。第一，数据库缓存和数据库优化，这个由dba完成（而且这个有非常大的潜力可挖，只是由于我们都是程序员而忽略了他而已）。第二，程序上的优化，这个非常的有讲究，比如说重要一点就是要规范ＳＱＬ语句，少用in 多用or，多用preparestatement，另外避免程序冗余如查找数据少用双重循环等。另外选用优秀的开源框架加以支持，我个人认为中后台的支持是最最重要的，可以选取spring＋ibatis。因为ibatis直接操作SQL并有缓存机制。spring的好处就不用我多说了，ＩＯＣ的机制可以避免new对象，这样也节省开销。据我分析，绝大部分的开销就是在NEW的时候和连接数据库时候产生的，请尽量避免。另外可以用一些内存测试工具来做一个demo说明hibernate和ibatis谁更快！前台你想用什么就用什么，struts,webwork都成，如果觉得自己挺牛X可以试试用tapestry。
用数据库也未必不能解决访问量巨大所带来的问题，作成静态文件硬盘的寻址时间也未必少于数据库的搜索时间，当然对资料的索引要下一翻工夫。我自己觉得门户往往也就是当天、热门的资料点击率较高，将其做缓存最多也不过1~2G的数据量吧，举个例子：
◎ 拿网易新闻来说[url]http://news.163.com/07/0606/09/3GA0D10N00011229.html[/url]
格式化一下，方便理解：http://域名/年/月日/新闻所属分类/新闻ID.html
可以把当天发布的、热门的、流揽量大的作个缓寸，用hashtable（key：年-月-日-分类-ID，value：新闻对象），静态将其放到内存（速度绝对快过硬盘寻址静态页面）。
通常是采用oracle存储过程＋2个weblogic，更新机制也几乎一样每签发一条新闻，就会生成静态页面，然后发往前端的web服务器，前端的web都是做负载均衡的。另外还有定时的程序，每5-15分钟自动生成一次。在发布新闻的同时将数据缓存。当然缓存也不会越来越大，在个特定的时间段（如凌晨）剔除过期的数据。做一个大的网站远没有想象中那么简单，服务器基本就要百十个的。
这样可以大大增加一台计算机的处理速度，如果一台机器处理不了，可以用httpserver集群来解决问题了。
2、网络
中国的网络分南北电信和网通，访问的ip就要区分南北进入不同的网络。
3、集群
通常会使用CDN与GSBL与DNS负载均衡技术，每个地区一组前台服务器群，例如：网易，百度使用了DNS负载均衡技术，每个频道一组前台服务器，一搜使用了DNS负载技术，所有频道共用一组前台服务器集群。
网站使用基于Linux集群的负载均衡，失败恢复，包括应用服务器和数据库服务器，基于linux-ha的服务状态检测及高可用化。
应用服务器集群可以采用apache+tomcat集群和weblogic集群等；web服务器集群可以用反向代理，也可以用NAT的方式，或者多域名解析都可以；Squid也可以，方法很多，可以根据情况选择。
4、数据库
因为是千万人同时访问的网站，所以一般是有很多个数据库同时工作的，说明白一点就是数据库集群和并发控制，数据分布到地理位置不同的数据中心，以免发生断电事故。另外还有一点的是，那些网站的静态化网页并不是真的，而是通过动态网页与静态网页网址交换做出现的假象，这可以用urlrewrite这样的开源网址映射器实现。这样的网站实时性也是相对的，因为在数据库复制数据的时候有一个过程，一般在技术上可以用到hibernate和ecache，但是如果要使网站工作地更好，可以使用EJB和websphere，weblogic这样大型的服务器来支持，并且要用oracle这样的大型数据库。
大型门户网站不建议使用Mysql数据库，除非你对Mysql数据的优化非常熟悉。Mysql数据库服务器的master-slave模式，利用数据库服务器在主从服务器间进行同步，应用只把数据写到主服务器，而读数据时则根据负载选择一台从服务器或者主服务器来读取，将数据按不同策略划分到不同的服务器（组）上，分散数据库压力。
大型网站要用oracle，数据方面操作尽量多用存储过程，绝对提升性能；同时要让DBA对数据库进行优化，优化后的数据库与没优化的有天壤之别；同时还可以扩展分布式数据库，以后这方面的研究会越来越多；
5、页面
从开始就考虑使用虚拟存储/簇文件系统。它能让你大量并行IO访问，而且不需要任何重组就能够增加所需要的磁盘。
页面数据调用更要认真设计，一些数据查询可以不通过数据库的方式，实时性要求不高的可以使用lucene来实现，即使有实时性的要求也可以用lucene，lucene+compass还是非常优秀的。
新闻类的网站可以用静态页存储，采用定时更新机制减轻服务器负担；首页每个小模块可以使用oscache缓存，这样不用每次都拉数据。
前端的基于静态页面缓存的web加速器，主要应用有squid等。squid 将大部分静态资源(图片，js，css等）缓存起来，直接返回给访问者，减少应用服务器的负载
网站的静态化网页并不是真的，而是通过动态网页与静态网页网址交换做出现的假象，这可以用urlrewrite这样的开源网址映射器实现，后缀名为htm或者html并不能说明程序生成了静态页面，可能是通过url重写来实现的，为的只不过是在搜索引擎中提升自己网站的覆盖面积罢了。
生成静态页面的服务器和www服务器是两组不同的服务器，页面生成后才会到www服务器，一部分数据库并不是关系数据库，这样更适合信息衍生，www、mail服务器、路由器多，主要用负载平衡解决访问瓶颈。
◎ 静态页面的缺点：
1) 增加了程序的复杂度
2) 不利于管理资料
3) 速度不是最快
4) 伤硬盘
6、缓存
从一开始就应该使用缓存，高速缓存是一个更好的地方存储临时数据，比如Web站点上跟踪一个特定用户的会话产生的临时文件，就不再需要记录到数据库里。
不能用lucene实现的可以用缓存，分布式缓存可以用memcached，如果有钱的话用10来台机器做缓存，> 10G的存储量相信存什么都够了；如果没钱的话可以在页面缓存和数据缓存上下功夫，多用OSCACHE和EHCACHE，SWARMCACHE也可以，不过据说同步性不是很好；
可以使用Memcache进行缓存，用大内存把这些不变的数据全都缓存起来，而当修改时就通知cache过期，memcache是LJ开发的一款分布式缓存产品，很多大型网站在应用，我们可以把Cache Server与App Server装在一起。因为Cache Server对CPU消耗不大，而有了Cache Server的支援，App Server对内存要求也不是太高，所以可以和平共处，更有效的利用资源。

以上一些不太成熟的想法，可以从某一个层次开始，逐步细化，把产品的性能指标提高上去。
以下内容为转载：浅析大型网站的架构
一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单，随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的html静态网站所能比拟的。
大型网站，比如门户网站。在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。但是除了这几个方面，还没法根本解决大型网站面临的高负载和高并发问题。
上面提供的几个解决思路在一定程度上也意味着更大的投入，并且这样的解决思路具备瓶颈，没有很好的扩展性，下面我从低成本、高性能和高扩张性的角度来说说我的一些经验。
1、HTML静态化
其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。
除了门户和信息发布类型的网站，对于交互性要求很高的社区类型网站来说，尽可能的静态化也是提高性能的必要手段，将社区内的帖子、文章进行实时的静态化，有更新的时候再重新静态化也是大量使用的策略，像Mop的大杂烩就是使用了这样的策略，网易社区等也是如此。
同时，html静态化也是某些缓存策略使用的手段，对于系统中频繁使用数据库查询但是内容更新很小的应用，可以考虑使用html静态化来实现，比如论坛中论坛的公用设置信息，这些信息目前的主流论坛都可以进行后台管理并且存储再数据库中，这些信息其实大量被前台程序调用，但是更新频率很小，可以考虑将这部分内容进行后台更新的时候进行静态化，这样避免了大量的数据库访问请求。
2、图片服务器分离
大家知道，对于Web服务器来说，不管是Apache、IIS还是其他容器，图片是最消耗资源的，于是我们有必要将图片与页面进行分离，这是基本上大型网站都会采用的策略，他们都有独立的图片服务器，甚至很多台图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力，并且可以保证系统不会因为图片问题而崩溃，在应用服务器和图片服务器上，可以进行不同的配置优化，比如apache在配置ContentType的时候可以尽量少支持，尽可能少的LoadModule，保证更高的系统消耗和执行效率。
3、数据库集群和库表散列
大型网站都有复杂的应用，这些应用必须使用数据库，那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，这时一台数据库将很快无法满足应用，于是我们需要使用数据库集群或者库表散列。
在数据库集群方面，很多数据库都有自己的解决方案，Oracle、Sybase等都有很好的方案，常用的MySQL提供的Master/Slave也是类似的方案，您使用了什么样的DB，就参考相应的解决方案来实施即可。
上面提到的数据库集群由于在架构、成本、扩张性方面都会受到所采用DB类型的限制，于是我们需要从应用程序的角度来考虑改善系统架构，库表散列是常用并且最有效的解决方案。我们在应用程序中安装业务和应用或者功能模块将数据库进行分离，不同的模块对应不同的数据库或者表，再按照一定的策略对某个页面或者功能进行更小的数据库散列，比如用户表，按照用户ID进行表散列，这样就能够低成本的提升系统的性能并且有很好的扩展性。sohu的论坛就是采用了这样的架构，将论坛的用户、设置、帖子等信息进行数据库分离，然后对帖子、用户按照板块和ID进行散列数据库和表，最终可以在配置文件中进行简单的配置便能让系统随时增加一台低成本的数据库进来补充系统性能。
4、缓存
缓存一词搞技术的都接触过，很多地方用到缓存。网站架构和网站开发中的缓存也是非常重要。这里先讲述最基本的两种缓存。高级和分布式的缓存在后面讲述。
架构方面的缓存，对Apache比较熟悉的人都能知道Apache提供了自己的缓存模块，也可以使用外加的Squid模块进行缓存，这两种方式均可以有效的提高Apache的访问响应能力。
网站程序开发方面的缓存，Linux上提供的Memory Cache是常用的缓存接口，可以在web开发中使用，比如用Java开发的时候就可以调用MemoryCache对一些数据进行缓存和通讯共享，一些大型社区使用了这样的架构。另外，在使用web语言开发的时候，各种语言基本都有自己的缓存模块和方法，PHP有Pear的Cache模块，Java就更多了，.net不是很熟悉，相信也肯定有。
5、镜像
镜像是大型网站常采用的提高性能和数据安全性的方式，镜像的技术可以解决不同网络接入商和地域带来的用户访问速度差异，比如ChinaNet和EduNet之间的差异就促使了很多网站在教育网内搭建镜像站点，数据进行定时更新或者实时更新。在镜像的细节技术方面，这里不阐述太深，有很多专业的现成的解决架构和产品可选。也有廉价的通过软件实现的思路，比如Linux上的rsync等工具。
6、负载均衡
负载均衡将是大型网站解决高负荷访问和大量并发请求采用的终极解决办法。
负载均衡技术发展了多年，有很多专业的服务提供商和产品可以选择，我个人接触过一些解决方法，其中有两个架构可以给大家做参考。
硬件四层交换
第四层交换使用第三层和第四层信息包的报头信息，根据应用区间识别业务流，将整个区间段的业务流分配到合适的应用服务器进行处理。　第四层交换功能就象是虚 IP，指向物理服务器。它传输的业务服从的协议多种多样，有HTTP、FTP、NFS、Telnet或其他协议。这些业务在物理服务器基础上，需要复杂的载量平衡算法。在IP世界，业务类型由终端TCP或UDP端口地址来决定，在第四层交换中的应用区间则由源端和终端IP地址、TCP和UDP端口共同决定。
在硬件四层交换产品领域，有一些知名的产品可以选择，比如Alteon、F5等，这些产品很昂贵，但是物有所值，能够提供非常优秀的性能和很灵活的管理能力。Yahoo中国当初接近2000台服务器使用了三四台Alteon就搞定了。
软件四层交换
大家知道了硬件四层交换机的原理后，基于OSI模型来实现的软件四层交换也就应运而生，这样的解决方案实现的原理一致，不过性能稍差。但是满足一定量的压力还是游刃有余的，有人说软件实现方式其实更灵活，处理能力完全看你配置的熟悉能力。
软件四层交换我们可以使用Linux上常用的LVS来解决，LVS就是Linux Virtual Server，他提供了基于心跳线heartbeat的实时灾难应对解决方案，提高系统的鲁棒性，同时可供了灵活的虚拟VIP配置和管理功能，可以同时满足多种应用需求，这对于分布式的系统来说必不可少。
一个典型的使用负载均衡的策略就是，在软件或者硬件四层交换的基础上搭建squid集群，这种思路在很多大型网站包括搜索引擎上被采用，这样的架构低成本、高性能还有很强的扩张性，随时往架构里面增减节点都非常容易。这样的架构我准备空了专门详细整理一下和大家探讨。
对于大型网站来说，前面提到的每个方法可能都会被同时使用到，我这里介绍得比较浅显，具体实现过程中很多细节还需要大家慢慢熟悉和体会，有时一个很小的squid参数或者apache参数设置，对于系统性能的影响就会很大，希望大家一起讨论，达到抛砖引玉之效。

1.remote_login_passwordfile = NONE

此时停用口令文件验证，Oracle数据库不允许远程SYSDBA/SYSOPER身份登录
无法通过远程进行数据库起停等操作管理

local:

[oracle@jumper oracle]$ sqlplus "/ as sysdba"
SQL*Plus: Release 9.2.0.3.0 - Production on Thu Apr 15 09:58:45 2004
Copyright (c) 1982, 2002, Oracle Corporation. All rights reserved.
Connected to:
Oracle9i Enterprise Edition Release 9.2.0.3.0 - Production
With the Partitioning, OLAP and Oracle Data Mining options
JServer Release 9.2.0.3.0 - Production
SQL> alter user sys identified by oracle;
User altered.
SQL> show parameter pass
NAME                      TYPE   VALUE
--------------------- ----------- ------------------------------
remote_login_passwordfile string NONE

remote:

E:\Oracle\ora92\bin>sqlplus /nolog



SQL*Plus: Release 9.2.0.4.0 -
Production on 星期四 4月 15 09:39:22 2004



Copyright (c) 1982, 2002, Oracle
Corporation. All rights reserved.



SQL> connect sys/oracle@hsjf as
sysdba

ERROR:

ORA-01017: invalid username/password; logon denied

此处实际上是无法通过口令文件验证

2.remote_login_passwordfile = exclusive

SQL> alter system set remote_login_passwordfile=exclusive scope=spfile;
System altered.
SQL> startup force;
ORACLE instance started.
Total System Global Area 131142648 bytes
Fixed Size 451576 bytes
Variable Size 104857600 bytes
Database Buffers 25165824 bytes
Redo Buffers 667648 bytes
Database mounted.
Database opened.
SQL> show parameter pass
NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
remote_login_passwordfile string EXCLUSIVE
SQL> alter user sys identified by oracle;
User altered.

remote:

E:\Oracle\ora92\bin>sqlplus /nolog



SQL*Plus: Release 9.2.0.4.0 -
Production on 星期四 4月 15 09:47:11 2004



Copyright (c) 1982, 2002, Oracle
Corporation. All rights reserved.



SQL> connect sys/oracle@hsjf as
sysdba

已连接。

SQL> show user

USER 为"SYS"

SQL>

这实际上就是通过口令文件验证登录的

3.进一步测试

如果此时我们删除passwdfile,sysdba/sysoper将无法认证，也就无法登陆数据库

Server:

SQL> !
[oracle@jumper oracle]$ cd $ORACLE_HOME/dbs
[oracle@jumper dbs]$ ls orapwhsjf
orapwhsjf
[oracle@jumper dbs]$ mv orapwhsjf orapwhsjf.bak
[oracle@jumper dbs]$

Remote:

E:\Oracle\ora92\bin>sqlplus /nolog

SQL*Plus: Release 9.2.0.4.0 - Production on 星期四 4月 15 09:50:14 2004

Copyright (c) 1982, 2002, Oracle Corporation. All rights reserved.

SQL> connect sys/oracle@hsjf as sysdba
ERROR:
ORA-01031: insufficient privileges


SQL>

这实际上就是无法通过口令文件验证身份

4.如果丢失了passwdfile

如果使用passwdfile却意外丢失，此时将不能启动数据库

SQL> startup force;
ORACLE instance started.

Total System Global Area 131142648 bytes
Fixed Size 451576 bytes
Variable Size 104857600 bytes
Database Buffers 25165824 bytes
Redo Buffers 667648 bytes
ORA-01990: error opening password file '/opt/oracle/product/9.2.0/dbs/orapw'
ORA-27037: unable to obtain file status
Linux Error: 2: No such file or directory
Additional information: 3

此时可以通过orapwd重建口令文件来解决
此处我们恢复口令文件既可

SQL> !
[oracle@jumper oracle]$ mv $ORACLE_HOME/dbs/orapwhsjf.bak orapwhsjf
[oracle@jumper oracle]$ exit
exit

SQL> alter database open;

Database altered.

SQL>

大致就是如此.

5. remote_login_passwordfile = shared

我们看一下Oracle9i文档中的说明:

SHARED

More than one database can use a password file. However, the only user recognized by the password file is SYS.

意思是说多个数据库可以共享一个口令文件,但是只可以识别一个用户:SYS

SQL> select * from v$pwfile_users;

USERNAME SYSDB SYSOP
------------------------------ ----- -----
SYS TRUE TRUE

SQL> grant sysdba to eygle;
grant sysdba to eygle
*
ERROR at line 1:
ORA-01994: GRANT failed: cannot add users to public password file

SQL> show parameter password

NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
remote_login_passwordfile string SHARED

我们看到,此时的口令文件中是不能添加用户的.

很多人的疑问在于:口令文件的缺省名称是orapw<sid>,怎么能够共享?

实际上是这样的: Oracle数据库在启动时,首先查找的是orapw<sid>的口令文件,如果该文件不存在,则开始查找,orapw的口令文件
如果口令文件命名为orapw,多个数据库就可以共享.

我们看一下测试:

[oracle@jumper dbs]$ sqlplus "/ as sysdba"
SQL*Plus: Release 9.2.0.3.0 - Production on Tue Jul 6 09:40:34 2004
Copyright (c) 1982, 2002, Oracle Corporation.  All rights reserved.
Connected to:
Oracle9i Enterprise Edition Release 9.2.0.3.0 - Production
With the Partitioning, OLAP and Oracle Data Mining options
JServer Release 9.2.0.3.0 - Production
SQL> shutdown immediate
Database closed.
Database dismounted.
ORACLE instance shut down.
SQL> !
[oracle@jumper dbs]$ ls
hsjf  initdw.ora  inithsjf.ora  init.ora  lkHSJF  orapwhsjf  spfilehsjf.ora
[oracle@jumper dbs]$ mv orapwhsjf orapwhsjf.bak
[oracle@jumper dbs]$ exit
exit
SQL> startup
ORACLE instance started.
Total System Global Area  235999908 bytes
Fixed Size                   451236 bytes
Variable Size             201326592 bytes
Database Buffers           33554432 bytes
Redo Buffers                 667648 bytes
ORA-01990: error opening password file '/opt/oracle/product/9.2.0/dbs/orapw'--这是最后查找的文件
ORA-27037: unable to obtain file status
Linux Error: 2: No such file or directory
Additional information: 3

我们建立orapw口令文件,这时候可以打开数据库.

SQL> !
[oracle@jumper dbs]$ ls
hsjf  initdw.ora  inithsjf.ora  init.ora  lkHSJF  orapwhsjf.bak  spfilehsjf.ora
[oracle@jumper dbs]$ cp orapwhsjf.bak orapw
[oracle@jumper dbs]$ exit
exit
SQL> alter database open;
Database altered.
SQL> show parameter passw
NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
remote_login_passwordfile            string      SHARED
SQL>    

那么你可能会有这样的疑问,多个Exclusive的数据库是否可以共享一个口令文件(orapw)呢?

我们继续这个实验:

SQL> show parameter password

NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
remote_login_passwordfile string SHARED

[oracle@jumper dbs]$ strings orapw
]\[Z
ORACLE Remote Password file
INTERNAL
AB27B53EDC5FEF41
8A8F025737A9097A

注意这里仅记录着INTERNAL/SYS的口令

REMOTE_LOGIN_PASSWORDFILE=EXCLUSIVE 时

SQL> alter system set remote_login_passwordfile=exclusive scope=spfile;

System altered.

SQL> startup force;
ORACLE instance started.

Total System Global Area 235999908 bytes
Fixed Size 451236 bytes
Variable Size 201326592 bytes
Database Buffers 33554432 bytes
Redo Buffers 667648 bytes
Database mounted.
Database opened.
SQL> !

[oracle@jumper bin]$ cd $ORACLE_HOME/dbs
[oracle@jumper dbs]$ strings orapw
]\[Z
ORACLE Remote Password file
HSJF
INTERNAL
AB27B53EDC5FEF41
8A8F025737A9097A
[oracle@jumper dbs]$ exit
exit

注意这里,以EXCLUSIVE 方式启动以后,实例名称信息被写入口令文件.

此时如果有其他实例以Exclusive模式启动仍然可以使用这个口令文件,口令文件中的实例名称同时被改写.

也就是说,数据库只在启动过程中才读取口令文件,数据库运行过程中并不锁定该文件,类似于pfile/spfile文件.

SQL> select * from v$pwfile_users;

USERNAME SYSDB SYSOP
------------------------------ ----- -----
SYS TRUE TRUE

SQL> grant sysdba to eygle;

Grant succeeded.

SQL> select * from v$pwfile_users;

USERNAME SYSDB SYSOP
------------------------------ ----- -----
SYS TRUE TRUE
EYGLE TRUE FALSE

SQL> !
[oracle@jumper bin]$ cd $ORACLE_HOME/dbs
[oracle@jumper dbs]$ strings orapw
]\[Z
ORACLE Remote Password file
HSJF
INTERNAL
AB27B53EDC5FEF41
8A8F025737A9097A
>EYGLE
B726E09FE21F8E83

注意此时可以增加SYSDBA用户，并且这些信息可以被写入到口令文件.

一旦口令文件中增加了其他SYSDBA用户,此文件不再能够被其他Exclusive的实例共享.

实际上，口令文件对于其他用户来说就是启到了一个 sudo 的作用.

6.重建口令文件

如果口令文件丢失,可以使用orapwd可以重建口令文件，语法如下:

[oracle@jumper oracle]$ orapwd

Usage: orapwd file=<fname> password=<password> entries=<users> 

where
file - name of password file (mand),
password - password for SYS (mand),
entries - maximum number of distinct DBA and OPERs (opt),
There are no spaces around the equal-to (=) character.

这个crs_stat 命令本来找不到,which后发现就在安装目录下面.于是env 查看环境变量,发现oracle_crs_home和ora_crs_home写的不对,改掉后ok.

rac1-> crs_stat -t

Name           Type           Target    State     Host

------------------------------------------------------------

ora.devdb.db   application    ONLINE    ONLINE    rac1

ora....b1.inst application    ONLINE    ONLINE    rac1

ora....b2.inst application    ONLINE    ONLINE    rac2

ora....SM1.asm application    ONLINE    ONLINE    rac1

ora....C1.lsnr application    ONLINE    ONLINE    rac1

ora.rac1.gsd   application    ONLINE    ONLINE    rac1

ora.rac1.ons   application    ONLINE    ONLINE    rac1

ora.rac1.vip   application    ONLINE    ONLINE    rac1

ora....SM2.asm application    ONLINE    ONLINE    rac2

ora....C2.lsnr application    ONLINE    ONLINE    rac2

ora.rac2.gsd   application    ONLINE    ONLINE    rac2

ora.rac2.ons   application    ONLINE    ONLINE    rac2

ora.rac2.vip   application    ONLINE    ONLINE    rac2



rac1-> srvctl status nodeapps -n rac1

VIP is running on node: rac1

GSD is running on node: rac1

Listener is running on node: rac1

ONS daemon is running on node: rac1



rac1-> srvctl status nodeapps -n rac2

VIP is running on node: rac2

GSD is running on node: rac2

Listener is running on node: rac2

ONS daemon is running on node: rac2



rac1-> srvctl status asm -n rac1

ASM instance +ASM1 is running on node rac1.



rac1-> srvctl status asm -n rac2

ASM instance +ASM2 is running on node rac2. 



rac1-> srvctl status database -d devdb

Instance devdb1 is running on node rac1

Instance devdb2 is running on node rac2



rac1-> srvctl status service -d devdb

rac1->

rac1-> crsctl check crs

CSS appears healthy

CRS appears healthy

EVM appears healthy



rac2-> crsctl check crs

CSS appears healthy

CRS appears healthy

EVM appears healthy

在命令行执行 crsctl 以查看所有可用选项。

SQL> select

2  instance_name,

3  host_name,

4  archiver,

5  thread#,

6  status

7  from gv$instance;



INSTANCE_NAME  HOST_NAME             ARCHIVE  THREAD# STATUS

-------------- --------------------- ------- -------- ------

devdb1         rac1.mycorpdomain.com STARTED        1 OPEN

devdb2         rac2.mycorpdomain.com STARTED        2 OPEN

验证您能够连接到每个节点上的实例和服务。

sqlplus system@devdb1

sqlplus system@devdb2

sqlplus system@devdb

rac1-> export ORACLE_SID=devdb1

rac1-> sqlplus / as sysdba



SQL> show sga



Total System Global Area  209715200 bytes

Fixed Size                  1218556 bytes

Variable Size             104859652 bytes

Database Buffers          100663296 bytes

Redo Buffers                2973696 bytes





SQL> select file_name,bytes/1024/1024 from dba_data_files;



FILE_NAME                                   BYTES/1024/1024

------------------------------------------- ---------------

+DG1/devdb/datafile/users.259.606468449                   5

+DG1/devdb/datafile/sysaux.257.606468447                240

+DG1/devdb/datafile/undotbs1.258.606468449               30

+DG1/devdb/datafile/system.256.606468445                480

+DG1/devdb/datafile/undotbs2.264.606468677               25





SQL> select

2  group#,

3  type,

4  member,

5  is_recovery_dest_file

6  from v$logfile

7  order by group#;



GROUP# TYPE    MEMBER                                              IS_

------ ------- --------------------------------------------------- ---

1 ONLINE  +RECOVERYDEST/devdb/onlinelog/group_1.257.606468581 YES

1 ONLINE  +DG1/devdb/onlinelog/group_1.261.606468575          NO

2 ONLINE  +RECOVERYDEST/devdb/onlinelog/group_2.258.606468589 YES

2 ONLINE  +DG1/devdb/onlinelog/group_2.262.606468583          NO

3 ONLINE  +DG1/devdb/onlinelog/group_3.265.606468865          NO

3 ONLINE  +RECOVERYDEST/devdb/onlinelog/group_3.259.606468875 YES

4 ONLINE  +DG1/devdb/onlinelog/group_4.266.606468879          NO

4 ONLINE  +RECOVERYDEST/devdb/onlinelog/group_4.260.606468887 YES





rac1-> export ORACLE_SID=+ASM1

rac1-> sqlplus / as sysdba



SQL> show sga



Total System Global Area   92274688 bytes

Fixed Size                  1217884 bytes

Variable Size              65890980 bytes

ASM Cache                  25165824 bytes





SQL> show parameter asm_disk



NAME                           TYPE        VALUE

------------------------------ ----------- ------------------------

asm_diskgroups                 string      DG1, RECOVERYDEST

asm_diskstring                 string





SQL> select

2  group_number,

3  name,

4  allocation_unit_size alloc_unit_size,

5  state,

6  type,

7  total_mb,

8  usable_file_mb

9  from v$asm_diskgroup;



ALLOC                        USABLE

GROUP                  UNIT                 TOTAL    FILE

NUMBER NAME             SIZE STATE   TYPE       MB      MB

------ ------------ -------- ------- ------ ------ -------

1 DG1           1048576 MOUNTED NORMAL   6134    1868

2 RECOVERYDEST  1048576 MOUNTED EXTERN   2047    1713





SQL> select

2  name,

3  path,

4  header_status,

5  total_mb free_mb,

6  trunc(bytes_read/1024/1024) read_mb,

7  trunc(bytes_written/1024/1024) write_mb

8  from v$asm_disk;



NAME  PATH       HEADER_STATU    FREE_MB    READ_MB   WRITE_MB

----- ---------- ------------ ---------- ---------- ----------

VOL1  ORCL:VOL1  MEMBER             3067        229       1242

VOL2  ORCL:VOL2  MEMBER             3067        164       1242

VOL3  ORCL:VOL3  MEMBER             2047         11        354

SQL> connect system/oracle@devdb

Connected.

SQL> create tablespace test_d datafile '+DG1' size 10M;



Tablespace created.



SQL> select

2  file_name,

3  tablespace_name,

4  bytes

5  from dba_data_files

6  where tablespace_name='TEST_D';



FILE_NAME                                TABLESPACE_NAME      BYTES

---------------------------------------- --------------- ----------

+DG1/devdb/datafile/test_d.269.606473423 TEST_D            10485760

SQL> connect system/oracle@devdb

Connected.

SQL> alter database add logfile thread 1 group 5 size 50M;



Database altered.



SQL> alter database add logfile thread 2 group 6 size 50M;



Database altered.



SQL> select

2  group#,

3  thread#,

4  bytes,

5  members,

6  status

7  from v$log;



GROUP#    THREAD#      BYTES    MEMBERS STATUS

---------- ---------- ---------- ---------- ----------------

1          1   52428800          2 CURRENT

2          1   52428800          2 INACTIVE

3          2   52428800          2 ACTIVE

4          2   52428800          2 CURRENT

5          1   52428800          2 UNUSED

6          2   52428800          2 UNUSED



SQL> select

2  group#,

3  type,

4  member,

5  is_recovery_dest_file

6  from v$logfile

7  where group# in (5,6)

8  order by group#;



GROUP# TYPE    MEMBER                                               IS_

------ ------- ---------------------------------------------------- ---

5 ONLINE  +DG1/devdb/onlinelog/group_5.271.606473683           NO

5 ONLINE  +RECOVERYDEST/devdb/onlinelog/group_5.261.606473691  YES

6 ONLINE  +DG1/devdb/onlinelog/group_6.272.606473697           NO

6 ONLINE  +RECOVERYDEST/devdb/onlinelog/group_6.262.606473703  YES

10. 测试透明故障切换 (TAF)

Oracle TAF 中的故障切换机制使任何失败的数据库连接能够重新连接到集群中的其他节点。故障切换对用户是透明的。Oracle 在故障切换实例上重新执行查询并继续向用户显示余下的结果。

创建一个新的数据库服务。首先，创建一个名为 CRM 的新服务。可以使用 DBCA 或 srvctl 实用程序来创建数据库服务。这里，您将使用 DBCA 在 devdb1 上创建 CRM 服务。

在 rac1 上，以 oracle 用户身份执行

rac1-> dbca

1. 欢迎页面：选择 Oracle Real Application Clusters database。
2. 操作：选择 Services Management。
3. 集群数据库列表：单击 Next。
4. 数据库服务：单击 Add。
   • 添加服务：输入“CRM”。
     • 选择 devdb1 作为首选实例。
     • 选择 devdb2 作为可用实例。
     • TAF 策略：选择 Basic。
   • 单击 Finish。

5. 数据库配置助手：单击 No 退出。

数据库配置助手将在 tnsnames.ora 中创建以下 CRM 服务名项：

CRM =

(DESCRIPTION =

(ADDRESS = (PROTOCOL = TCP)(HOST = rac1-vip)(PORT = 1521))

(ADDRESS = (PROTOCOL = TCP)(HOST = rac2-vip)(PORT = 1521))

(LOAD_BALANCE = yes)

(CONNECT_DATA =

(SERVER = DEDICATED)

(SERVICE_NAME = CRM)

(FAILOVER_MODE =

(TYPE = SELECT)

(METHOD = BASIC)

(RETRIES = 180)

(DELAY = 5)

)

)

)





SQL> connect system/oracle@devdb1

Connected.

SQL> show parameter service



NAME                           TYPE        VALUE

------------------------------ ----------- ------------------------

service_names                  string      devdb, CRM





SQL> connect system/oracle@devdb2

Connected.

SQL> show parameter service



NAME                           TYPE        VALUE

------------------------------ ----------- ------------------------

service_names                  string      devdb

SQL> connect system/oracle@crm

Connected.

SQL> select

2  instance_number instance#,

3  instance_name,

4  host_name,

5  status

6  from v$instance;



INSTANCE# INSTANCE_NAME    HOST_NAME             STATUS

---------- ---------------- --------------------- ------------

1 devdb1           rac1.mycorpdomain.com OPEN





SQL> select

2  failover_type,

3  failover_method,

4  failed_over

5  from v$session

6  where username='SYSTEM';



FAILOVER_TYPE FAILOVER_METHOD FAILED_OVER

------------- --------------- ----------------

SELECT        BASIC           NO

rac1-> export ORACLE_SID=devdb1

rac1-> sqlplus / as sysdba



SQL> select

2  instance_number instance#,

3  instance_name,

4  host_name,

5  status

6  from v$instance;





INSTANCE# INSTANCE_NAME    HOST_NAME             STATUS

---------- ---------------- --------------------- ------------

1 devdb1           rac1.mycorpdomain.com OPEN



SQL> shutdown abort;

ORACLE instance shut down.

SQL> select

2  instance_number instance#,

3  instance_name,

4  host_name,

5  status

6  from v$instance;





INSTANCE# INSTANCE_NAME    HOST_NAME             STATUS

---------- ---------------- --------------------- ------------

2 devdb2           rac2.mycorpdomain.com OPEN





SQL> select

2  failover_type,

3  failover_method,

4  failed_over

5  from v$session

6  where username='SYSTEM';





FAILOVER_TYPE FAILOVER_METHOD FAILED_OVER

------------- --------------- ----------------

SELECT        BASIC           YES

rac1-> export ORACLE_SID=devdb1

rac1-> sqlplus / as sysdba



SQL> startup

ORACLE instance started.



Total System Global Area  209715200 bytes

Fixed Size                  1218556 bytes

Variable Size             104859652 bytes

Database Buffers          100663296 bytes

Redo Buffers                2973696 bytes

Database mounted.

Database opened.

SQL> show parameter service



NAME                           TYPE        VALUE

------------------------------ ----------- ------------------------

service_names                  string      devdb





rac2-> export ORACLE_SID=devdb2

rac2-> sqlplus / as sysdba



SQL> show parameter service



NAME                           TYPE        VALUE

------------------------------ ----------- ------------------------

service_names                  string      devdb, CRM





rac1-> srvctl relocate service -d devdb -s crm -i devdb2 -t devdb1





SQL> connect system/oracle@devdb1

Connected.

SQL> show parameter service



NAME                           TYPE        VALUE

------------------------------ ----------- ------------------------

service_names                  string      devdb, CRM





SQL> connect system/oracle@devdb2

Connected.

SQL> show parameter service



NAME                           TYPE        VALUE

------------------------------ ----------- ------------------------

service_names                  string      devdb

11. 数据库备份与恢复

使用 Oracle 恢复管理器 (RMAN) 备份和恢复 Oracle RAC 数据库的过程与单实例数据库的备份和恢复过程相同。

在本部分中，您将看到一个非常简单的备份和恢复案例：

1. 执行完整的数据库备份。
2. 在 test_d 表空间中创建 mytable 表。
3. 在 t1 时间，向 mytable 中插入第一个记录。
4 在 t2 时间，向 mytable 中插入第二个记录。
5. 在 t3 时间，删除 mytable 表。
6. 将 test_d 表空间恢复到某个时间点。
7. 验证恢复结果。

执行完整的数据库备份。

rac1-> rman nocatalog target /



Recovery Manager: Release 10.2.0.1.0 - Production on Mon Nov 13 18:15:09 2006



Copyright (c) 1982, 2005, Oracle.  All rights reserved.



connected to target database: DEVDB (DBID=511198553)

using target database control file instead of recovery catalog



RMAN> configure controlfile autobackup on; 



RMAN> backup database plus archivelog delete input;

在 test_d 表空间中创建 mytable 表。

19:01:56 SQL> connect system/oracle@devdb2

Connected.

19:02:01 SQL> create table mytable (col1 number) tablespace test_d;



Table created.

在 t1 时间，向 mytable 中插入第一个记录。

19:02:50 SQL> insert into mytable values (1);



1 row created.



19:02:59 SQL> commit;



Commit complete.

在 t2 时间，向 mytable 中插入第二个记录。

19:04:41 SQL> insert into mytable values (2);



1 row created.



19:04:46 SQL> commit;



Commit complete.

在 t3 时间，删除 mytable 表。

19:05:09 SQL> drop table mytable;



Table dropped.

将 test_d 表空间恢复到某个时间点。

为辅助数据库创建辅助目录。

rac1-> mkdir /u01/app/oracle/aux





RMAN> recover tablespace test_d

2> until time "to_date('13-NOV-2006 19:03:10','DD-MON-YYYY HH24:MI:SS')"

3> auxiliary destination '/u01/app/oracle/aux';



RMAN> backup tablespace test_d;



RMAN> sql 'alter tablespace test_d online';

验证恢复结果。

19:15:09 SQL> connect system/oracle@devdb2

Connected.

19:15:16 SQL> select * from mytable;



COL1

----------

1

12. 探索 Oracle 企业管理器 (OEM) 数据库控制台

Oracle 企业管理器数据库控制台提供了一个非常好的集成式综合 GUI 界面，用于管理集群数据库环境。您可以在控制台内执行几乎所有的任务。

要访问数据库控制台，请打开 Web 浏览器并输入下面的 URL。
以 sysman 用户身份登录，并输入您先前在数据库安装期间选择的口令。

http://rac1:1158/em

启动和停止数据库控制台。

rac1-> emctl stop dbconsole

TZ set to US/Eastern

Oracle Enterprise Manager 10g Database Control Release 10.2.0.1.0

Copyright (c) 1996, 2005 Oracle Corporation.  All rights reserved.

http://rac1.mycorpdomain.com:1158/em/console/aboutApplication

Stopping Oracle Enterprise Manager 10g Database Control ...

...  Stopped.



rac1-> emctl start dbconsole

TZ set to US/Eastern

Oracle Enterprise Manager 10g Database Control Release 10.2.0.1.0

Copyright (c) 1996, 2005 Oracle Corporation.  All rights reserved.

http://rac1.mycorpdomain.com:1158/em/console/aboutApplication

Starting Oracle Enterprise Manager 10g Database Control 

................... started.

------------------------------------------------------------------

Logs are generated in directory 

/u01/app/oracle/product/10.2.0/db_1/rac1_devdb1/sysman/log

验证数据库控制台的状态。

rac1-> emctl status dbconsole

TZ set to US/Eastern

Oracle Enterprise Manager 10g Database Control Release 10.2.0.1.0

Copyright (c) 1996, 2005 Oracle Corporation.  All rights reserved.

http://rac1.mycorpdomain.com:1158/em/console/aboutApplication

Oracle Enterprise Manager 10g is running.

------------------------------------------------------------------

Logs are generated in directory 

/u01/app/oracle/product/10.2.0/db_1/rac1_devdb1/sysman/log



rac1-> emctl status agent

TZ set to US/Eastern

Oracle Enterprise Manager 10g Database Control Release 10.2.0.1.0

Copyright (c) 1996, 2005 Oracle Corporation.  All rights reserved.

---------------------------------------------------------------

Agent Version     : 10.1.0.4.1

OMS Version       : 10.1.0.4.0

Protocol Version  : 10.1.0.2.0

Agent Home        : /u01/app/oracle/product/10.2.0/db_1/rac1_devdb1

Agent binaries    : /u01/app/oracle/product/10.2.0/db_1

Agent Process ID  : 10263

Parent Process ID : 8171

Agent URL         : http://rac1.mycorpdomain.com:3938/emd/main

Started at        : 2006-11-12 08:10:01

Started by user   : oracle

Last Reload       : 2006-11-12 08:20:33

Last successful upload                       : 2006-11-12 08:41:53

Total Megabytes of XML files uploaded so far :     4.88

Number of XML files pending upload           :        0

Size of XML files pending upload(MB)         :     0.00

Available disk space on upload filesystem    :    71.53%

---------------------------------------------------------------

Agent is Running and Ready

13. 常见问题

下面是可能对您有用的问题和解决方法摘要列表。

问题 1：无法激活以太网设备。
错误消息为“Cannot activate network device eth0!Device eth0 has different MAC address than expected, ignoring.”

解决方法：
“ifconfig”报告的 MAC 地址与 /etc/sysconfig/network-scripts/ifcfg-eth0 不匹配。您可以使用新的 MAC 地址更新文件，或者只需通过 system-config-network 工具探测新的 MAC 地址。

问题 2：无法生成 OCFS2 配置文件。
在尝试生成 OCFS2 配置文件时，出现错误消息“Could not start cluster stack.This must be resolved before any OCFS2 filesystem can be mounted”。

解决方法：
以 root 用户身份（而非 oracle 用户身份）执行 ocfs2console。

问题 3：无法在远程节点上安装 Oracle 集群件或 Oracle 数据库软件。
在 Oracle 集群件软件安装期间，出现错误消息“/bin/tar:./inventory/Components21/oracle.ordim.server /10.2.0.1.0:time stamp 2006-11-04 06:24:04 is 25 s in the future”。

解决方法：
通过安装 VMware 工具来同步客户 OS 与主机 OS 的时间，并在 /boot/grub/grub.conf 中包含选项“clock=pit nosmp noapic nolapic”。请参阅第 3 部分，以获得更多信息。

问题 4：无法挂载 OCFS2 文件系统。
在尝试挂载 ocfs2 文件系统时，出现错误消息“mount.ocfs2:Transport endpoint is not connected while mounting”。

解决方法：
执行 /usr/bin/system-config-securitylevel 以禁用防火墙。

问题 5：无法启动 ONS 资源。
当 VIPCA 尝试启动 ONS 应用程序资源时，出现错误消息“CRS-0215:Could not start resource ‘ora.rac2.ons’”。

解决方法：
ONS 尝试访问本地主机，但无法解析 IP 地址。将以下项添加到 /etc/hosts 中。

127.0.0.1 localhost

结论

希望通过本指南的学习，您可以免费、快速地使用 VMware Server 构建集群 Oracle 数据库环境。利用免费软件，开始学习并试用 Enterprise Linux 上的 Oracle RAC！

要创建第二个虚拟机，只需关闭第一个虚拟机，将 d:vmracrac1 中的所有文件复制到 d:vmracrac2，然后更改几个配置即可。

1. 在 rac1 上，以 root 用户身份执行
   # shutdown –h now
2. 在主机系统上，将 rac1 文件夹中的所有文件复制到 rac2。
   D:>copy d:vmracrac1 d:vmracrac2
3. 在 VMware Server 控制台上，按 CTRL-O 打开第二个虚拟机 d:racrac2Red Hat Enterprise Linux 4.vmx。
4. VMware Server 控制台：
   • 将虚拟机名称从 rac1 重命名为 rac2。右键单击您刚才打开的新 rac1 选项卡，然后选择 Settings。
     • 选择 Options 选项卡。
       1. 虚拟机名称：输入“rac2”。

• 单击 Start this virtual machine 启动 rac2，保留 rac1 为电源关闭状态。
• rac2 — 虚拟机：选择 Create a new identifier。

5. 以 root 用户身份登录并执行 system-config-network，以修改网络配置。

   IP 地址：双击每个以太网设备，并使用下面的表进行必要的更改。

   设备	IP 地址	子网掩码	默认网关地址
   eth0	192.168.2.132	255.255.255.0	192.168.2.1
   eth1	10.10.10.32	255.255.255.0	<保留空白>

   MAC 地址：导航到 Hardware Device 选项卡，并探测每个以太网设备的新 MAC 地址。

   主机名和 DNS：使用下面的表对 DNS 选项卡中的项进行必要的更改，然后按 CTRL-S 保存。

   主机名	首选 DNS	备用 DNS	DNS 搜索路径
   rac2.mycorpdomain.com	输入 DNS IP 地址或保留空白。	输入 DNS IP 地址或保留空白。	接受默认设置或保留空白。

   最后，激活每个以太网设备。

修改 /etc/hosts。将以下项添加到 /etc/hosts 中。

127.0.0.1 localhost

稍后，在 Oracle 集群件软件安装期间，VIPCA 将尝试使用回送地址。

修改 /export/home/oracle/.profile。用 devdb2 替换 ORACLE_SID 的值。

使用 SSH 建立用户等效性。在集群就绪服务 (CRS) 和 RAC 安装过程中，Oracle Universal Installer (OUI) 必须能够以 oracle 的身份将软件复制到所有 RAC 节点，而不提示输入口令。在 Oracle 10g 中，可以使用 ssh 代替 rsh 完成此操作。

要建立用户等效性，请在两个节点上以 oracle 用户身份生成用户的公钥和私钥。打开 rac1 的电源，在这两个节点上执行以下任务。
在 rac1 上执行

在 rac2 上执行

在 rac1 上执行

在每个节点上测试连接。验证当您再次运行以下命令时，系统是否不提示您输入口令。

5. 配置 Oracle 自动存储管理 (ASM)

Oracle ASM 与 Oracle 数据库紧密集成在一起，并与 Oracle 的数据管理工具套件配合工作。它可以简化数据库存储管理，并提供原始磁盘 I/O 的性能。

配置 ASMLib。以 root 用户身份在两个节点上配置 ASMLib。

# /etc/init.d/oracleasm configure

Configuring the Oracle ASM library driver.



This will configure the on-boot properties of the Oracle ASM library

driver.  The following questions will determine whether the driver is

loaded on boot and what permissions it will have.  The current values

will be shown in brackets ('[]').  Hitting  without typing an

answer will keep that current value.  Ctrl-C will abort.



Default user to own the driver interface []: oracle

Default group to own the driver interface []: dba

Start Oracle ASM library driver on boot (y/n) [n]: y

Fix permissions of Oracle ASM disks on boot (y/n) [y]: y

Writing Oracle ASM library driver configuration:           [  OK  ]

Loading module "oracleasm":                                [  OK  ]

Mounting ASMlib driver filesystem:                         [  OK  ]

Scanning system for ASM disks:                             [  OK  ]

创建 ASM 磁盘。以 root 用户身份在任何一个节点上创建 ASM 磁盘。

# /etc/init.d/oracleasm createdisk VOL1 /dev/sdc1

Marking disk "/dev/sdc1" as an ASM disk:                   [  OK  ]

# /etc/init.d/oracleasm createdisk VOL2 /dev/sdd1

Marking disk "/dev/sdd1" as an ASM disk:                   [  OK  ]

# /etc/init.d/oracleasm createdisk VOL3 /dev/sde1

Marking disk "/dev/sde1" as an ASM disk:                   [  OK  ]

Verify that the ASM disks are visible from every node. 

# /etc/init.d/oracleasm scandisks

Scanning system for ASM disks:                      [  OK  ]

# /etc/init.d/oracleasm listdisks

VOL1

VOL2

VOL3

VOL4

6. 配置 Oracle 集群文件系统 (OCFS2)

OCFS2 是 Oracle 开发的一个通用集群文件系统，与 Enterprise Linux 内核集成在一起。它允许所有节点在集群文件系统上同时共享文件，因而消除了管理原始设备的需求。这里，您将在 OCFS2 文件系统中寄宿 OCR 和表决磁盘。您可以从 OCFS2 用户指南获取有关 OCFS2 的其他信息。

在 Enterprise Linux 安装期间，您应该已经安装了 OCFS2 RPM。验证 RPM 是否已经安装在两个节点上。

rac1-> rpm -qa | grep ocfs

ocfs2-tools-1.2.2-2

ocfs2console-1.2.2-2

ocfs2-2.6.9-42.0.0.0.1.ELsmp-1.2.3-2

要去oracle 下载

创建 OCFS2 配置文件。 在 rac1 上，以 root 用户身份执行

# ocfs2console

1. OCFS2 控制台：选择 Cluster，然后选择 Configure Nodes。
2. “集群堆栈已经启动”：单击 Close。
3. 节点配置：单击 Add。
4. 新增节点：添加以下节点，然后单击 Apply。
   • 名称：rac1
   • IP 地址： 192.168.2.131
   • IP 端口： 7777
   • 名称：rac2
   • IP 地址： 192.168.2.132
   • IP 端口： 7777
5. 验证生成的配置文件。

   # more /etc/ocfs2/cluster.conf
   
       node:
   
       ip_port = 7777
   
       ip_address = 192.168.2.131
   
       number = 0
   
       name = rac1
   
       cluster = ocfs2
   
       
   
       node:
   
       ip_port = 7777
   
       ip_address = 192.168.2.132
   
       number = 1
   
       name = rac2
   
       cluster = ocfs2
   
       
   
       cluster:
   
       node_count = 2
   
       name = ocfs2

6. 将配置文件传播到 rac2。您可以在 rac2 上重新运行上述步骤以生成配置文件，或者在 rac1 的 OCFS2 控制台上选择 Cluster 和 Propagate Configuration 以将配置文件传播到 rac2。

配置 O2CB 驱动程序。O2CB 是一组集群服务，负责管理节点与集群文件系统之间的通信。下面是对各个服务的说明：

• NM：用于跟踪 cluster.conf 中的所有节点的节点管理器
• HB：当节点加入或离开集群时向上/向下发出通知的心跳服务
• TCP：处理节点之间的通信
• DLM：用于跟踪所有锁、这些锁的所有者以及状态的分布式锁管理器
• CONFIGFS：在 /config 中挂载的用户空间驱动的配置文件系统
• DLMFS：用户空间与内核空间 DLM 的接口

在两个节点上执行下面的过程，将 O2CB 配置为在引导时启动。

当系统提示您指定心跳死亡阈值时，您必须指定一个大于 7 的值，以防止节点由于较慢的 IDE 磁盘驱动器而崩溃。心跳死亡阈值是一个用于计算隔离时间的变量。

Fence time (seconds) = (heartbeat dead threshold -1) * 2

在我们的环境中，120 秒的隔离时间很合适。两个节点上的心跳死亡阈值应该完全相同。

以 root 用户身份执行

# /etc/init.d/o2cb unload

Stopping O2CB cluster ocfs2: OK

Unmounting ocfs2_dlmfs filesystem: OK

Unloading module "ocfs2_dlmfs": OK

Unmounting configfs filesystem: OK

Unloading module "configfs": OK



# /etc/init.d/o2cb configure

Configuring the O2CB driver.



This will configure the on-boot properties of the O2CB driver.

The following questions will determine whether the driver is loaded on

boot.  The current values will be shown in brackets ('[]').  Hitting

 without typing an answer will keep that current value.  Ctrl-C

will abort.



Load O2CB driver on boot (y/n) [y]: y

Cluster to start on boot (Enter "none" to clear) [ocfs2]:

Specify heartbeat dead threshold (>=7) [7]: 61

Writing O2CB configuration: OK

Loading module "configfs": OK

Mounting configfs filesystem at /config: OK

Loading module "ocfs2_nodemanager": OK

Loading module "ocfs2_dlm": OK

Loading module "ocfs2_dlmfs": OK

Mounting ocfs2_dlmfs filesystem at /dlm: OK

Starting O2CB cluster ocfs2: OK

格式化文件系统。在格式化和挂载文件系统之前，应验证 O2CB 在两个节点上均联机；O2CB 心跳当前没有活动，因为文件系统未挂载。

# /etc/init.d/o2cb status

(很重要的命令,重新启动后应该首先判断这个服务是否开启,状态如何,特别是heartbeat是不是active

一般都是ocfs没有mount上的原因造成没有启动)



Module "configfs": Loaded

Filesystem "configfs": Mounted

Module "ocfs2_nodemanager": Loaded

Module "ocfs2_dlm": Loaded

Module "ocfs2_dlmfs": Loaded

Filesystem "ocfs2_dlmfs": Mounted

Checking O2CB cluster ocfs2: Online

Checking O2CB heartbeat: Not active

您只需在一个节点上格式化文件系统。在 rac1 上，以 root 用户身份执行

# ocfs2console

1. OCFS2 控制台：选择 Tasks、Format。
2. 格式：
   • 可用设备：/dev/sdb1
   • 卷标：oracle
   • 集群大小：Auto
   • 节点插槽数量： 4
   • 块大小：Auto
3. OCFS2 控制台：按 CTRL-Q 退出。

挂载文件系统。要挂载文件系统，在两个节点上执行以下命令。

# mount -t ocfs2 -o datavolume,nointr /dev/sdb1 /ocfs

要在引导时挂载文件系统，在两个节点的 /etc/fstab 中添加以下行。

/etc/fstab

/dev/sdb1 /ocfs ocfs2 _netdev,datavolume,nointr 0 0

创建 Oracle 集群件目录。在 OCR 和表决磁盘将驻留的 OCFS2 文件系统中创建目录。

在 rac1 上执行

# mkdir /ocfs/clusterware

# chown -R oracle:dba /ocfs

现在，您已经完成了 OCFS2 的设置。验证您可以在两个节点的共享集群文件系统上读写文件。

7. 安装 Oracle 集群件

下载后，在 rac1 上以 oracle 用户身份执行(注销切换到oracle ,这样起安装图形就没有问题)

安装之前最好是用安装目录下的检测工具来检查是否满足安装的要求

../. cluvfy stage -pre crsinst -n rac1,rac2

我安装的时候还差几个gcc 的包 安装好了就可以了

检查的时候会报vips的错误可以忽略,等cluster安装后了以后再设置.

rac1-> /u01/staging/clusterware/runInstaller

1. 欢迎页面：单击 Next。
2. 指定 Inventory 目录和证书：
   • 输入 inventory 目录的完整路径：/u01/app/oracle/oraInventory。
   • 指定操作系统组名：oinstall。
3. 指定 Home 详细内容：
   • 名称：OraCrs10g_home
   • /u01/app/oracle/product/10.2.0/crs_1
4. 特定于产品的必要条件检查：
   • 忽略有关物理内存要求的警告。
5. 指定集群配置：单击 Add。
   • 公共节点名称：rac2.mycorpdomain.com
   • 专用节点名称：rac2-priv.mycorpdomain.com
   • 虚拟主机名称：rac2-vip.mycorpdomain.com
   • 最好这里直接用rac1,rac1-priv,rac1-vip来指名节点
     
6. 指定网络接口用法：
   • 接口名称：eth0
   • 子网： 192.168.2.0
   • 接口类型：Public
   • 接口名称：eth1
   • 子网： 10.10.10.0
   • 接口类型：Private
7. 指定 Oracle 集群注册表 (OCR) 位置：选择 External Redundancy。
   为了简单起见，这里将不镜像 OCR。在生产环境中，您可能会考虑复用 OCR 以实现更高的冗余。
   • 指定 OCR 位置：/ocfs/clusterware/ocr
8. 指定表决磁盘位置：选择 External Redundancy。
   同样，为了简单起见，我们选择不镜像表决磁盘。
   • 表决磁盘位置：/ocfs/clusterware/votingdisk
9. 摘要：单击 Install。
10. 执行配置脚本：以 root 用户身份按顺序执行以下脚本（一次执行一个）。在当前脚本完成后，再继续执行下一个脚本。
    • 在 rac1 上执行 /u01/app/oracle/oraInventory/orainstRoot.sh。
    • 在 rac2 上执行 /u01/app/oracle/oraInventory/orainstRoot.sh。
    • 在 rac1 上执行 /u01/app/oracle/product/10.2.0/crs_1/root.sh。
    • 在 rac2 上执行 /u01/app/oracle/product/10.2.0/crs_1/root.sh。
    rac2 上的 root.sh 脚本会自动调用 VIPCA，但会因为“The given interface(s), "eth0" is not public.Public interfaces should be used to configure virtual IPs.”错误而失败。如果您的公共接口使用不可路由的 IP 地址 (192.168.x.x)，则 Oracle 集群验证实用程序 (CVU) 将无法找到合适的公共接口。一种解决方法是手动运行 VIPCA。
11. 以 root 用户身份在第二个节点上手动调用 VIPCA。
    # /u01/app/oracle/product/10.2.0/crs_1/bin/vipca
12. 欢迎页面：单击 Next。
13. 网络接口：选择 eth0。
14. 集群节点的虚拟 IP：
    • 节点名称：rac1
    • IP 别名：rac1-vip
    • IP 地址： 192.168.2.31
    • 子网掩码： 255.255.255.0
    • 节点名称：rac2
    • IP 别名：rac2-vip
    • IP 地址： 192.168.2.32
    • 子网掩码： 255.255.255.0
15. 摘要：单击 Finish。

    

16. 配置助手进度对话框：配置完成后，单击 OK。
17. 配置结果：单击 Exit。
18. 返回到 rac1 的执行配置脚本屏幕，然后单击 OK。

    

19. 配置助手：验证所有检查均成功。OUI 在最后会执行集群件安装后检查。如果 CVU 失败，请更正问题，并以 oracle 用户身份重新运行以下命令：

    rac1-> /u01/app/oracle/product/10.2.0/crs_1/bin/cluvfy stage 
    
        -post crsinst -n rac1,rac2
    
        
    
        Performing post-checks for cluster services setup
    
        
    
        Checking node reachability...
    
        Node reachability check passed from node "rac1".
    
        
    
        Checking user equivalence...
    
        User equivalence check passed for user "oracle".
    
        
    
        Checking Cluster manager integrity...
    
        
    
        Checking CSS daemon...
    
        Daemon status check passed for "CSS daemon".
    
        
    
        Cluster manager integrity check passed.
    
        
    
        Checking cluster integrity...
    
        
    
        Cluster integrity check passed
    
        
    
        Checking OCR integrity...
    
        
    
        Checking the absence of a non-clustered configuration...
    
        All nodes free of non-clustered, local-only configurations.
    
        
    
        Uniqueness check for OCR device passed.
    
        
    
        Checking the version of OCR...
    
        OCR of correct Version "2" exists.
    
        
    
        Checking data integrity of OCR...
    
        Data integrity check for OCR passed.
    
        
    
        OCR integrity check passed.
    
        
    
        Checking CRS integrity...
    
        
    
        Checking daemon liveness...
    
        Liveness check passed for "CRS daemon".
    
        
    
        Checking daemon liveness...
    
        Liveness check passed for "CSS daemon".
    
        
    
        Checking daemon liveness...
    
        Liveness check passed for "EVM daemon".
    
        
    
        Checking CRS health...
    
        CRS health check passed.
    
        
    
        CRS integrity check passed.
    
        
    
        Checking node application existence...
    
        
    
        Checking existence of VIP node application (required)
    
        Check passed.
    
        
    
        Checking existence of ONS node application (optional)
    
        Check passed.
    
        
    
        Checking existence of GSD node application (optional)
    
        Check passed.
    
        
    
        Post-check for cluster services setup was successful.

20. 安装结束：单击 Exit。

8. 安装 Oracle 数据库 10g 第 2 版

下载后，在 rac1 上以 oracle 用户身份执行

rac1-> /u01/staging/database/runInstaller

1. 欢迎页面：单击 Next。
2. 选择安装类型：
   • 选择 Enterprise Edition。
3. 指定 Home 详细内容：
   • 名称：OraDb10g_home1
   • 路径：/u01/app/oracle/product/10.2.0/db_1
4. 指定硬件集群安装模式：
   • 选择 Cluster Installation。
   • 单击 Select All。
5. 特定于产品的必要条件检查：
   • 忽略有关物理内存要求的警告。
6. 选择配置选项：
   • 创建数据库。
7. 选择数据库配置：
   • 选择 Advanced。
8. 摘要：单击 Install。
9. 数据库模板：
   • 选择 General Purpose。
10. 数据库标识：
    • 全局数据库名称：devdb
    • SID 前缀：devdb
11. 管理选项：
    • 选择 Configure the Database with Enterprise Manager。
12. 数据库证书：
    • 针对所有帐户使用相同的口令。
13. 存储选项：
    • 选择 Automatic Storage Management (ASM)。
14. 创建 ASM 实例：
    • SYS 口令：<输入 SYS 口令>。
    • 选择 Create initialization parameter file (IFILE)。
15. ASM 磁盘组：
    • 单击 Create New。
16. 创建磁盘组：
    创建两个磁盘组 — DG1 和 RECOVERYDEST。
    
    • 磁盘组名称：DG1
    • 选择 Normal 冗余。
    • 选择磁盘路径 ORCL:VOL1 和 ORCL:VOL2。如果您已经使用标准 Linux I/O 配置了 ASM 磁盘，则请选择 /u01/oradata/devdb/asmdisk1 和 /u01/oradata/devdb/asmdisk2。
    • 单击 OK。

• 磁盘组名称：RECOVERYDEST。
• 选择 External 冗余。
• 选择磁盘路径 ORCL:VOL3。如果您已经使用标准 Linux I/O 配置了 ASM 磁盘，则请选择 /u01/oradata/devdb/asmdisk3。
• 单击 OK。

17. ASM 磁盘组：单击 Next。

18. 数据库文件位置：
    • 选择 Use Oracle-Managed Files。
      • 数据库区域：+DG1
19. 恢复配置：
    • 选择 Specify Flash Recovery Area。
      • 闪回恢复区：+RECOVERYDEST
      • 闪回恢复区大小：1500M
    • 选择 Enable Archiving。
20. 数据库内容：
    • 选择或取消选择示例模式。
21. 数据库服务：
    • 单击 Next。稍后，您可以使用 DBCA 或 srvctl 创建或修改其他服务。
22. 初始化参数：
    • 选择 Custom。
      • 共享内存管理：Automatic
      • SGA 大小：200MB
      • PGA 大小：25MB
    • b. 根据需要修改其余参数。
23. 数据库存储：单击 Next。
24. 创建选项：
    • 选择 Create Database。
    • 单击 Finish。
25. 摘要：单击 OK。
26. 数据库配置助手：单击 Exit。

27. 执行配置脚本：以 root 用户身份执行下面的脚本。
    • 在 rac1 上执行 /u01/app/oracle/product/10.2.0/db_1/root.sh。
    • 在 rac2 上执行 /u01/app/oracle/product/10.2.0/db_1/root.sh。
28. 返回到 rac1 的执行配置脚本屏幕，然后单击 OK。
29. 安装结束：单击 Exit。

恭喜，您已经在 Enterprise Linux 上成功安装了 Oracle RAC 数据库 10g！

我装的还是比较顺利的,主要是cluster ware那里因为节点名字的原因导致在远程ssh 安装的时候要输入密码.所以远程安装失败.要么保证那几个ssh xx date命令都需要密码,要么就直接用最简单的节点名字.

其它参考：

Oracle Enterprise Linux 和 iSCSI 上构建您自己的 Oracle RAC 集群

http://www.oracle.com/technology/global/cn/pub/articles/hunter_rac11gr1_iscsi.html

如下文档摘自oracle官方网.

作者：Vincent Chan

2007 年 1 月发表

于 10 月份 Oracle OpenWorld 2006 上推介的 Oracle 坚不可摧的 Linux 旨在为 Red Hat Linux 提供企业级支持服务，更快地修复错误，以及显著降低支持价格。此外，Oracle 自己的 Enterprise Linux（基于包含额外错误修补的 Red Hat Advanced Server 第 4 版 (Update 4)）提供免费下载。

因此，现在可以通过 VMware Server（VMware 提供的一个免费虚拟环境）在家用电脑上免费使用运行在 Red Hat Advanced Server 上的 Oracle 真正应用集群 (RAC) 10g。

VMware Server 允许您在一台物理计算机上运行多个操作系统。每个虚拟机都是一个独立的操作环境，并带有一组自己的虚拟组件，如磁盘、处理器和内存。虚拟技术在计算环境中 十分有用，它允许您在同一物理主机上独立地开发和测试软件以防止数据或软件损坏。VMware 软件广泛地用于服务器整合，以降低总拥有成本并加快应用程序开发和测试周期。

在本指南中，您将了解如何安装和配置两个在 Enterprise Linux 和 VMware Server 上运行 Oracle RAC 10g 第 2 版的节点。注意，本指南仅用于教学/评估目的；Oracle 及其他供应商不会为本配置提供支持。

本指南分为以下几个部分：

1. 硬件要求和概述
2. 配置第一个虚拟机
3. 在第一个虚拟机上配置 Enterprise Linux
4. 创建并配置第二个虚拟机
5. 配置 Oracle 自动存储管理 (ASM)
6. 配置 Oracle 集群文件系统 (OCFS2)
7. 安装 Oracle 集群件
8. 安装 Oracle 数据库 10g 第 2 版
9. 探索 RAC 数据库环境
10. 测试透明应用程序故障切换 (TAF)
11. 数据库备份与恢复
12. 探索 Oracle 企业管理器 (OEM) 数据库控制台
13. 常见问题

1. 硬件要求和概述

我使用的环境是:

1 Red Hat Enterprise Linux AS 4 Update 7

2 Visual machine:vmware serve 1.0

3 Host: Winxp

4 Acer laptop 5580 3G

在本指南中，您将安装 32 位 Linux 客户操作系统。只有在主机上运行的以下 64 位处理器支持 64 位客户操作系统：

• AMD Athlon 64 修订版 D 或更高版本
• AMD Opteron 修订版 E 或更高版本
• AMD Turion 64 修订版 E 或更高版本
• AMD Sempron 64-bit-capable 修订版 D 或更新的 Intel EM64T VT-capable 处理器

如果您决定安装 64 位客户操作系统，请确定上面列出了您的处理器。您还需要确保在 BIOS 中启用了虚拟技术 (VT)。一些主流制造商在默认情况下禁用了该技术。此处提供了有关处理器兼容性的其他信息。
要验证您的处理器是否受支持，请从 VMware 网站下载处理器兼容性检查工具。

为每个虚拟机至少分配 700MB 内存；为所有虚拟机预留至少 30GB 磁盘空间。

主机操作系统环境概况：

客户操作系统环境概况：

虚拟磁盘布局概况：

（要配置共享存储，客户 OS 不能与共享存储共享同一个 SCSI 总线。指定客户 OS 使用 SCSI0，共享磁盘使用 SCSI1。）

RAC 数据库环境概况：

您将在每个节点上安装 Oracle 主目录供冗余使用。每个节点上的 ASM 和 Oracle RAC 实例共享同一个 Oracle 主目录。

2. 配置第一个虚拟机

要创建和配置第一个虚拟机，您需要添加虚拟硬件设备，如磁盘和处理器。在继续执行安装之前，请创建以下 windows 文件夹以存放虚拟机和共享存储。

D:>mkdir vmracrac1

D:>mkdir vmracrac2

D:>mkdir vmracsharedstorage

双击桌面上的 VMware Server 图标以启动应用程序：

1. 按 CTRL-N 创建一个新的虚拟机。
2. 新建虚拟机向导：单击 Next。
3. 选择适当的配置：
   1. 虚拟机配置：选择 Custom。
4. 选择客户操作系统：
   1. 客户操作系统：选择 Linux。
   2. 版本：选择 Red Hat Enterprise Linux 4。
5. 命名虚拟机：
   1. 虚拟机名称：输入“rac1”。
   2. 位置：输入“d:vmracrac1”。
6. 设置访问权限：
   1. 访问权限：选择 Make this virtual machine private。
7. 启动/关闭选项：
   1. 虚拟机帐户：选择 User that powers on the virtual machine。
8. 处理器配置：
   1. 处理器：选择一个处理器。
9. 虚拟机内存：
   1. 内存：选择 700MB。(最好1G)
10. 网络类型：
    1. 网络连接：选择 Use bridged networking。
11. 选择 I/O 适配器类型：
    1. I/O 适配器类型：选择 LSI Logic。
12. 选择磁盘：
    1. 磁盘：选择 Create a new virtual disk。
13. 选择磁盘类型：
    1. 虚拟磁盘类型：选择 SCSI (Recommended)。
14. 指定磁盘容量：
    1. 磁盘容量：输入“20GB”。
    2. 取消选择 Allocate all disk space now。为了节省空间，您现在不必分配所有磁盘空间。
15. 指定磁盘文件：
    1. 磁盘文件：输入“localdisk.vmdk”。
    2. 单击 Finish。

重复步骤 16-24 以创建四个虚拟 SCSI 硬盘 — ocfs2disk.vmdk (512MB)、asmdisk1.vmdk (3GB)、asmdisk2.vmdk (3GB) 和 asmdisk3.vmdk (2GB)。

16. VMware Server 控制台：单击 Edit virtual machine settings。
17. 虚拟机设置：单击 Add。
18. 新增硬件向导：单击 Next。
19. 硬件类型：
    1. 硬件类型：选择 Hard Disk。
20. 选择磁盘：
    1. 磁盘：选择 Create a new virtual disk。
21. 选择磁盘类型：
    1. 虚拟磁盘类型：选择 SCSI (Recommended)。
22. 指定磁盘容量：
    1. 磁盘容量：输入“0.5GB”。
    2. 选择 Allocate all disk space now。 如果您希望节省空间，则不必分配所有磁盘空间。出于性能方面的考虑，您需要为每个虚拟共享磁盘预先分配所有磁盘空间。特别是在 Oracle 数据库创建期间或者当数据库的 DML 活动较频繁时，如果共享磁盘的大小增长快速，虚拟机可能会间歇挂起一段较短的时间甚至崩溃（这种情况很少见）。
23. 指定磁盘文件：
    1. 磁盘文件：输入“d:vmracsharedstorageocfs2disk.vmdk”。
    2. 单击 Advanced。
24. 新增硬件向导：
    1. 虚拟设备节点：选择 SCSI 1:0。
    2. 模式：选择 Independent，针对所有共享磁盘选择 Persistent。
    3. 单击 Finish。

最后，额外添加一个虚拟网卡以用于专用互联，并移除软盘驱动器（如果有）。

25. VMware Server 控制台：单击 Edit virtual machine settings。
26. 虚拟机设置：单击 Add。
27. 新增硬件向导：单击 Next。
28. 硬件类型：
    1. 硬件类型：以太网适配器。
29. 网络类型：
    1. 主机模式：与主机共享的专用网络 (注意这里添加的额外的网卡用的时HOST ONLY模式,前面的是使用bridge模式)
    2. 单击 Finish。
30. 虚拟机设置：
    1. 选择 Floppy 并单击 Remove。
31. 虚拟机设置：单击 OK。

修改虚拟机配置文件。还需要设置其他参数以启用两个虚拟 RAC 节点之间的磁盘共享。打开配置文件 d:vmracrac1Red Hat Enterprise Linux 4.vmx，并添加下面列出的粗体参数。

config.version = "8"

virtualHW.version = "4"

scsi0.present = "TRUE"

scsi0.virtualDev = "lsilogic"

memsize = "700"

scsi0:0.present = "TRUE"

scsi0:0.fileName = "localdisk.vmdk"

ide1:0.present = "TRUE"

ide1:0.fileName = "auto detect"

ide1:0.deviceType = "cdrom-raw"

floppy0.fileName = "A:"

Ethernet0.present = "TRUE"

displayName = "rac1"

guestOS = "rhel4"

priority.grabbed = "normal"

priority.ungrabbed = "normal"



disk.locking = "FALSE"

diskLib.dataCacheMaxSize = "0"

scsi1.sharedBus = "virtual"



scsi1.present = "TRUE"

scsi1:0.present = "TRUE"

scsi1:0.fileName = "D:vmracsharedstorageocfs2disk.vmdk"

scsi1:0.mode = "independent-persistent"

scsi1:0.deviceType = "disk"

scsi1:1.present = "TRUE"

scsi1:1.fileName = "D:vmracsharedstorageasmdisk1.vmdk"

scsi1:1.mode = "independent-persistent"

scsi1:1.deviceType = "disk"

scsi1:2.present = "TRUE"

scsi1:2.fileName = "D:vmracsharedstorageasmdisk2.vmdk"

scsi1:2.mode = "independent-persistent"

scsi1:2.deviceType = "disk"

scsi1:3.present = "TRUE"

scsi1:3.fileName = "D:vmracsharedstorageasmdisk3.vmdk"

scsi1:3.mode = "independent-persistent"

scsi1:3.deviceType = "disk"

scsi1.virtualDev = "lsilogic"

ide1:0.autodetect = "TRUE"

floppy0.present = "FALSE"

Ethernet1.present = "TRUE"

Ethernet1.connectionType = "hostonly"

3. 在第一个虚拟机上安装并配置 Enterprise Linux

从 Oracle 网站下载 Enterprise Linux 并解压缩文件：

• Enterprise-R4-U4-i386-disc1.iso
• Enterprise-R4-U4-i386-disc2.iso
• Enterprise-R4-U4-i386-disc3.iso
• Enterprise-R4-U4-i386-disc4.iso

1. 在 VMware Server 控制台上，双击右面板上的 CD-ROM 设备，然后选择第 1 张磁盘的 ISO 镜像 Enterprise-R4-U4-i386-disc1.iso。
2. VMware Server 控制台：(最好以Iinux text 安装会快很多,不要期图形界面)
   
   • 单击 Start this virtual machine。
3. 按 Enter 键以图形模式安装。
4. 跳过介质测试并启动安装。
5. 欢迎使用 Enterprise Linux：单击 Next。
6. 语言选择：<选择语言首选项>。
7. 键盘配置：<选择键盘首选项>。
8. 安装类型：自定义。
9. 磁盘分区设置：使用 Disk Druid 进行手动分区。
   • 警告：单击 Yes 将初始化每个设备 — sda、sdb、sdc、sdd 和 sde。
10. 磁盘设置：通过双击挂载点（/ 和 /u01）和交换空间的 /dev/sda 可用空间来分配 sda 驱动器上的磁盘空间。您稍后将为 OCFS2 和 ASM 配置其余驱动器。
    • 添加分区：
      • 挂载点： /
      • 文件系统类型：ext3
      • 开始柱面： 1
      • 结束柱面： 910
      • 文件系统类型：Swap
      • 开始柱面： 911
      • 结束柱面： 1170
      • 挂载点：/u01
      • 文件系统类型：ext3
      • 开始柱面： 1171
      • 结束柱面： 2610

11. 引导加载程序配置：仅选择默认的 /dev/sda1，其余选项均保留未选中状态。
12. 网络配置：
    1. 网络设备
       • 选择并编辑 eth0
         1. 取消选择 Configure Using DHCP。
         2. 选择 Activate on boot。
         3. IP 地址：输入“192.168.2.131”。
         4. 网络掩码：输入“255.255.255.0”。
       • 选择并编辑 eth1
         1. 取消选择 Configure Using DHCP。
         2. 选择 Activate on boot。
         3. IP 地址：输入“10.10.10.31”。
         4. 网络掩码：输入“255.255.255.0”。
    2. 主机名
       • 选择 manually 并输入“rac1.mycorpdomain.com”。
    3. 杂项设置
       • 网关：输入“192.168.2.1”。
       • 首选 DNS：<可选>
       • 备用 DNS：<可选>
13. 防火墙配置：
    1. 选择 No Firewall。如果启用了防火墙，当您稍后在设置期间尝试挂载 ocfs2 文件系统时，可能会遇到错误“mount.ocfs2:Transport endpoint is not connected while mounting”。
    2. 启用 SELinux 吗？：Active。
14. 警告 — 无防火墙：单击 Proceed。
15. 其他语言支持：<选择所需的语言>。
16. 时区选择：<选择您的时区>
17. 设置 Root 口令：<输入您的 root 口令>
18. 程序包组选择：(最好全选)
    1. 选择 X Window System。
    2. 选择 GNOME Desktop Environment。
    3. 选择 Editors。
       • 单击 Details 并选择您偏好的文本编辑器。
    4. 选择 Graphical Internet。
    5. 选择 Text-based Internet。
    6. 选择 Office/Productivity。
    7. 选择 Sound and Video。
    8. 选择 Graphics。
    9. 选择 Server Configuration Tools。
    10. 选择 FTP Server。
    11. 选择 Legacy Network Server。
        • 单击 Details。
          1. 选择 rsh-server。
          2. 选择 telnet-server。
    12. 选择 Development Tools。
    13. 选择 Legacy Software Development。
    14. 选择 Administration Tools。
    15. 选择 System Tools。(这些包都要去oracle 自己下)
        
        • 单击 Details。除了默认选中的程序包外，再选择以下程序包。
          1. 选择 ocfs-2-2.6.9-42.0.0.0.1EL（UP 内核驱动程序），或者选择 ocfs-2-2.6.9-42.0.0.0.1ELsmp（SMP 内核驱动程序）。
          2. 选择 ocfs2-tools。
          3. 选择 ocfs2console。
          4. 选择 oracle oracleasm-2.6.9-42.0.0.0.1EL（UP 内核驱动程序），或者选择 oracleasm-2.6.9-42.0.0.0.1ELsmp（SMP 内核驱动程序）。
          5. 选择 sysstat。
    16. 选择 Printing Support。
19. 准备安装：单击 Next。
20. 所需的安装介质：单击 Continue。
21. 更 改 CD-ROM：在 VMware Server 控制台上，按 CTRL-D 显示 Virtual Machine Settings。单击 CD-ROM 设备并选择第 2 张磁盘的 ISO 镜像 Enterprise-R4-U4-i386-disc2.iso，然后是第 3 张磁盘的 ISO 镜像 Enterprise-R4-U4-i386-disc3.iso。
22. 安装结束时：
    1. 在 VMware Server 控制台上，按 CTRL-D 显示 Virtual Machine Settings。单击 CD-ROM 设备并选择 Use physical drive。
    2. 单击 Reboot。
23. 欢迎页面：单击 Next。
24. 许可协议：选择 Yes, I agree to the License Agreement。
25. 日期和时间：设置日期和时间。
26. 显示：<选择所需的分辨率>。
27. 系统用户：保留项目为空并单击 Next。
28. 其他 CD：单击 Next。
29. 完成设置：单击 Next。

恭喜，您已经在 VMware Server 上安装了 Enterprise Linux！

安装 VMware 工具。VMware 工具要求同步主机和客户机的时间。

在 VMware 控制台上，以 root 用户身份登录。

1. 单击 VM，然后选择 Install VMware Tools。
2. rac1 — 虚拟机：单击 Install。
3. 双击桌面上的 VMware Tools 图标。
4. cdrom：双击 VMwareTools-1.0.1-29996.i386.rpm。

5. 完成系统准备：单击 Continue。
6. 打开一个终端并执行 vmware-config-tools.pl。
   • 输入所需的显示大小。

"/bin/tar: ./inventory/Components21/oracle.ordim.server/10.2.0.1.0: time 

stamp  2006-11-04 06:24:04 is 25 s in the future"

1. 执行“vmware-toolbox”以显示 VMware Tools Properties 窗口。在 Options 选项卡下，选择 Time synchronization between the virtual machine and the host operating system。您应该发现 tools.syncTime = "TRUE" 参数已经追加到虚拟机配置文件 d:vmracrac1Red Hat Enterprise Linux 4.vmx 中。
2. 编辑 /boot/grub/grub.conf，并将选项“clock=pit nosmp noapic nolapic”添加到读取内核 /boot/ 的那一行。您已经将选项添加到两个内核，现在只需对特定内核进行更改。

   #boot=/dev/sda
   
       default=0
   
       timeout=5
   
       splashimage=(hd0,0)/boot/grub/splash.xpm.gz
   
       hiddenmenu
   
       title Enterprise (2.6.9-42.0.0.0.1.ELsmp)
   
       root (hd0,0)
   
       kernel /boot/vmlinuz-2.6.9-42.0.0.0.1.ELsmp ro 
   
       root=LABEL=/ rhgb quiet clock=pit nosmp noapic nolapic
   
       initrd /boot/initrd-2.6.9-42.0.0.0.1.ELsmp.img
   
       title Enterprise-up (2.6.9-42.0.0.0.1.EL)
   
       root (hd0,0)
   
       kernel /boot/vmlinuz-2.6.9-42.0.0.0.1.EL ro root=LABEL=/ 
   
       rhgb quiet clock=pit nosmp noapic nolapic
   
       initrd /boot/initrd-2.6.9-42.0.0.0.1.EL.img

3. 重新引导 rac1。

   # reboot

# groupadd oinstall

# groupadd dba

# mkdir -p /export/home/oracle /ocfs

# useradd -d /export/home/oracle -g oinstall -G dba -s /bin/ksh oracle

# chown oracle:dba /export/home/oracle /u01

# passwd oracle

New Password:

Re-enter new Password:

passwd: password successfully changed for oracle

/export/home/oracle/.profile

export PS1="`/bin/hostname -s`-> "

export EDITOR=vi

export ORACLE_SID=devdb1

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

export ORA_CRS_HOME=$ORACLE_BASE/product/10.2.0/crs_1

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

export PATH=$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:/bin:

/usr/bin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin

umask 022

rac1-> mkdir p $ORACLE_BASE/admin 

rac1-> mkdir p $ORACLE_HOME

rac1-> mkdir p $ORA_CRS_HOME

rac1-> mkdir -p /u01/oradata/devdb

提高 Oracle 用户的 shell 限制。使用文本编辑器将下面列出的行添加到 /etc/security/limits.conf、/etc/pam.d/login 和 /etc/profile。其他信息可以从文档中获得。

/etc/security/limits.conf

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

session required /lib/security/pam_limits.so

if [ $USER = "oracle" ]; then

if [ $SHELL = "/bin/ksh" ]; then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

fi

• libaio-0.3.105-2.i386.rpm
• openmotif21-2.1.30-11.RHEL4.6.i386.rpm

从 ISO CD 解压缩这些程序包，并以 root 用户身份执行下面的命令。

# ls

libaio-0.3.105-2.i386.rpm  openmotif21-2.1.30-11.RHEL4.6.i386.rpm

#

# rpm -Uvh *.rpm

warning: libaio-0.3.105-2.i386.rpm: V3 DSA signature: NOKEY, key ID b38a8516

Preparing...                

########################################### [100%]

1:openmotif21            

########################################### [ 50%]

2:libaio                 

########################################### [100%]

# more  /etc/sysctl.conf

kernel.shmall                = 2097152

kernel.shmmax                = 2147483648

kernel.shmmni                = 4096

kernel.sem                   = 250 32000 100 128

fs.file-max                  = 65536

net.ipv4.ip_local_port_range = 1024 65000

net.core.rmem_default        = 1048576

net.core.rmem_max            = 1048576

net.core.wmem_default        = 262144

net.core.wmem_max            = 262144

# more /etc/hosts

127.0.0.1               localhost

192.168.2.131           rac1.mycorpdomain.com        rac1

192.168.2.31            rac1-vip.mycorpdomain.com    rac1-vip

10.10.10.31             rac1-priv.mycorpdomain.com   rac1-priv

192.168.2.132           rac2.mycorpdomain.com        rac2

192.168.2.32            rac2-vip.mycorpdomain.com    rac2-vip

10.10.10.32             rac2-priv.mycorpdomain.com   rac2-priv

在 /etc/modprobe.conf 中添加以下行，以设置 hangcheck 内核模块参数。

/etc/modprobe.conf
options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

要立即加载模块，执行“modprobe -v hangcheck-timer”。

为 OCFS2 和 Oracle ASM 创建磁盘分区。为 OCFS2 (/dev/sdb) 和 Oracle ASM（/dev/sdc、/dev/sdd、/dev/sde）准备一组原始磁盘。

在 rac1 上，以 root 用户身份执行

# fdisk /dev/sdb

Command (m for help): n

Command action

e   extended

p   primary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-512, default 1):

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-512, default 512):

Using default value 512



Command (m for help): w

The partition table has been altered!



Calling ioctl() to re-read partition table.

Syncing disks.

# fdisk /dev/sdc

Command (m for help): n

Command action

e   extended

p   primary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-391, default 1):

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-391, default 391):

Using default value 391



Command (m for help): w

The partition table has been altered!



Calling ioctl() to re-read partition table.

Syncing disks.

# fdisk /dev/sdd

Command (m for help): n

Command action

e   extended

p   primary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-391, default 1):

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-391, default 391):

Using default value 391



Command (m for help): w

The partition table has been altered!



Calling ioctl() to re-read partition table.

Syncing disks.

# fdisk /dev/sde

Command (m for help): n

Command action

e   extended

p   primary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-261, default 1):

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-261, default 261):

Using default value 261



Command (m for help): w

The partition table has been altered!



Calling ioctl() to re-read partition table.

Syncing disks.

# fdisk -l

Disk /dev/sda: 21.4 GB, 21474836480 bytes

255 heads, 63 sectors/track, 2610 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes



Device Boot      Start         End      Blocks   Id  System

/dev/sda1   *           1         910     7309543+  83  Linux

/dev/sda2             911        1170     2088450   82  Linux swap

/dev/sda3            1171        2610    11566800   83  Linux



Disk /dev/sdb: 536 MB, 536870912 bytes

64 heads, 32 sectors/track, 512 cylinders

Units = cylinders of 2048 * 512 = 1048576 bytes



Device Boot      Start         End      Blocks   Id  System

/dev/sdb1               1         512      524272   83  Linux



Disk /dev/sdc: 3221 MB, 3221225472 bytes

255 heads, 63 sectors/track, 391 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes



Device Boot      Start         End      Blocks   Id  System

/dev/sdc1               1         391     3140676   83  Linux



Disk /dev/sdd: 3221 MB, 3221225472 bytes

255 heads, 63 sectors/track, 391 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes



Device Boot      Start         End      Blocks   Id  System

/dev/sdd1               1         391     3140676   83  Linux



Disk /dev/sde: 2147 MB, 2147483648 bytes

255 heads, 63 sectors/track, 261 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes



Device Boot      Start         End      Blocks   Id  System

/dev/sde1               1         261     2096451   83  Linux

# rpm -Uvh oracleasmlib-2.0.2-1.i386.rpm

Preparing...                

########################################### [100%]

1:oracleasmlib           

########################################### [100%]

在这个阶段，您应该已经安装了以下 ASM 程序包。

[root@rac1 swdl]# rpm -qa | grep oracleasm

oracleasm-support-2.0.3-2

oracleasm-2.6.9-42.0.0.0.1.ELsmp-2.0.3-2

oracleasmlib-2.0.2-1

三个都要从oracle 下载

执行以下任务，将原始设备映射到先前创建的共享分区。每次引导集群节点时，原始设备都必须与块设备绑定。

将以下行添加到 /etc/sysconfig/rawdevices 中。

/etc/sysconfig/rawdevices

/dev/raw/raw1 /dev/sdc1

/dev/raw/raw2 /dev/sdd1

/dev/raw/raw3 /dev/sde1

# /sbin/service rawdevices restart

Assigning devices:

/dev/raw/raw1  -->   /dev/sdc1

/dev/raw/raw1:  bound to major 8, minor 33

/dev/raw/raw2  -->   /dev/sdd1

/dev/raw/raw2:  bound to major 8, minor 49

/dev/raw/raw3  -->   /dev/sde1

/dev/raw/raw3:  bound to major 8, minor 65

done



# chown oracle:dba /dev/raw/raw[1-3]

# chmod 660 /dev/raw/raw[1-3]

# ls -lat /dev/raw/raw*

crw-rw----  1 oracle dba 162, 3 Nov  4 07:04 /dev/raw/raw3

crw-rw----  1 oracle dba 162, 2 Nov  4 07:04 /dev/raw/raw2

crw-rw----  1 oracle dba 162, 1 Nov  4 07:04 /dev/raw/raw1

以 oracle 用户身份执行

rac1-> ln -sf /dev/raw/raw1 /u01/oradata/devdb/asmdisk1

rac1-> ln -sf /dev/raw/raw2 /u01/oradata/devdb/asmdisk2

rac1-> ln -sf /dev/raw/raw3 /u01/oradata/devdb/asmdisk3

修改 /etc/udev/permissions.d/50-udev.permissions。原 始设备在引导时会重新映射。默认情况下，在引导时原始设备的拥有者将更改为 root 用户。如果拥有者不是 oracle 用户，则 ASM 在访问共享分区时会出现问题。在 /etc/udev/permissions.d/50-udev.permissions 中为原始行“raw/*:root:disk:0660”添加注释，然后添加一个新行“raw/*:oracle:dba:0660”。

/etc/udev/permissions.d/50-udev.permissions

# raw devices

ram*:root:disk:0660

#raw/*:root:disk:0660

raw/*:oracle:dba:0660

几乎所有操作最后都要落到数据库身上，它又最难扩展（存储也挺难）。对于mysql，什么样的表用myisam，什么样的表用innodb，在开发之前要确定。复制策略、分片策略，也要确定。表引擎方面，一般，更新不多、不需要事务的表可以用myisam，需要行锁定、事务支持的，用innodb。myisam的锁表不一定是性能低下的根源，innodb也不一定全是行锁，具体细节要多看相关的文档，熟悉了引擎特性才能用的更好。现代WEB应用越来越复杂了，我们设计表结构时常常设计很多冗余，虽然不符合传统范式，但为了速度考虑还是值得的，要求高的情况下甚至要杜绝联合查询。编程时得多注意数据一致性。

复制策略方面，多主多从结构也最好一开始就设计好，代码直接按照多主多从来编写，用一些小技巧来避免复制延时问题，并且还要解决多数据库数据是否一致，可以自己写或者找现成的运维工具。

分片策略。总会有那么几个表数据量超大，这时分片必不可免。分片有很多策略，从简单的分区到根据热度自动调整，依照具体业务选择一个适合自己的。避免自增ID作为主键，不利于分片。

用存储过程是比较难扩展的，这种情形多发生于传统C/S，特别是OA系统转换过来的开发人员。低成本网站不是一两台小型机跑一个数据库处理所有业务的模式，是机海作战。方便水平扩展比那点预分析时间和网络传输流量要重要的多的多。

NoSQL。这只是一个概念。实际应用中，网站有着越来越多的密集写操作、上亿的简单关系数据读取、热备等，这都不是传统关系数据库所擅长的，于是就产生了很多非关系型数据库，比如Redis/TC&TT/MongoDB/Memcachedb等，在测试中，这些几乎都达到了每秒至少一万次的写操作，内存型的甚至5万以上。例如MongoDB，几句配置就可以组建一个复制+自动分片+failover的环境，文档化的存储也简化了传统设计库结构再开发的模式。很多业务是可以用这类数据库来替代mysql的。

八、缓存。

数据库很脆弱，一定要有缓存在前面挡着，其实我们优化速度，几乎就是优化缓存，能用缓存的地方，就不要再跑到后端数据库那折腾。缓存有持久化缓存、内存缓存，生成静态页面是最容易理解的持久化缓存了，还有很多比如varnish的分块缓存、前面提到的memcachedb等，内存缓存，memcached首当其冲。缓存更新可用被动更新和主动更新。被动更新的好处是设计简单，缓存空了就自动去数据库取数据再把缓存填上，但容易引发雪崩效应，一旦缓存大面积失效，数据库的压力直线上升很可能挂掉。主动缓存可避免这点但是可能引发程序取不到数据的问题。这两者之间如何配合，程序设计要多动脑筋。

九、队列。

用户一个操作很可能引发一系列资源和功能的调动，这些调动如果同时发生，压力无法控制，用户体验也不好，可以把这样一些操作放入队列，由另几个模块去异步执行，例如发送邮件，发送手机短信。开源队列服务器很多，性能要求不高用数据库当做队列也可以，只要保证程序读写队列的接口不变，底层队列服务可随时更换就可以，类似Zend Framework里的Zend_Queue类，java.util.Queue接口等。

十、文件存储。

除了结构化数据，我们经常要存放其他的数据，像图片之类的。这类数据数量繁多、访问量大。典型的就是图片，从用户头像到用户上传的照片，还要生成不同的缩略图尺寸。存储的分布几乎跟数据库扩展一样艰难。不使用专业存储的情况下，基本都是靠自己的NAS。这就涉及到结构。拿图片存储举例，图片是非常容易产生热点的，有些图片上传后就不再有人看，有些可能每天被访问数十万次，而且大量小文件的异步备份也很耗费时间。

为了将来图片走cdn做准备，一开始最好就将图片的域名分开，且不用主域名。很多网站都将cookie设置到了.domain.ltd，如果图片也在这个域名下，很可能因为cookie而造成缓存失效，并且占多余流量，还可能因为浏览器并发线程限制造成访问缓慢。

如果用普通的文件系统存储图片，有一个简单的方法。计算文件的hash值，比如md5，以结果第一位作为第一级目录，这样第一级有16个目录。从0到F，可以把这个字母作为域名，0.yourimg.com到f.yourimg.com（客户端dns压力会增大），还可以扩展到最多16个NAS集群上。第二级可用年月例如，201011，第三级用日，第四级可选，根据上传量，比如am/pm，甚至小时。最终的目录结构可能会是 e/201008/25/am/e43ae391c839d82801920cf.jpg。rsync备份时可以用脚本只同步某年某日某时的文件，避免计算大量文件带来的开销。当然最好是能用专门的分布式文件系统或更专业点的存储解决方案。

下面，我们要谈谈代码了。

开始设计代码结构之前，先回顾一下之前准备过的事情：我们有负载均衡的WEB服务器，有主从DB服务器并可能分片，有缓存，有可扩展的存储。在组织代码的各个方面，跟这些准备息息相关，我一二三的列出来分别说，并且每一条都以“前面讲到”这个经典句式开头，为了方便对照。

别着急看经典句式，我思维跳跃了，插一段。实际开发中，我们总会在性能和代码优雅性上作折中。对于当今的计算机和语言解释器，多几层少几层对象调用、声明变量为Map还是HashMap这种问题是最后才需要考虑的问题，永远要考虑系统最慢的部分，从最慢的部分解决。例如看看你用的ORM是不是做了很多你用不到的事情，是不是有重复的数据调用。我们做的是web应用开发，不是底层框架API，代码易读易懂是保证质量很重要的一方面，你的程序是为了什么而设计，有不同的方法……算了，这个话题另起一篇文章来说，扯远了，想交流可关注我的微博 http://t.sina.com.cn/liuzhiyi，咱继续……

前面讲到，WEB服务器是要做负载均衡的，图片服务器是要分开的。对于这点，代码在处理客户端状态时，不要把状态放到单机上，举例，不要用文件session，嗯，常识。如果有可能，最好在一开始就做好用户单点认证的统一接口，包括跨域如何判断状态、静态页面如何判断状态，需要登录时的跳转和返回参数定义，底层给好接口，应用层直接就用（可参考GAE的user服务）。登录方面的设计要考虑移动设备的特性，比如电脑可以用浮动层窗口，但NOKIA自带的浏览器或UCWEB就无法处理这种表现形式，程序一定既能处理AJAX请求又能直接通过URL来处理请求。图片服务器分开，资源文件最好也布局到图片服务器，也就是WEB服务器只服务动态程序。虽然开发测试时稍微复杂（因为需要绝对URI才能访问），但将来页面前端优化上会轻松许多，并且你的WEB服务器IO优化也轻松许多。程序引用资源文件时，要有一个统一的处理方法，在方法内部可以自动完成很多事情，例如将css/js根据组合，拼成一个文件，或者自动在生成的URI后面加上QUERYSTRING，如果将来前端用了缓存服务，那生成QUERYSTRING是最简单的刷新服务端缓存和客户端缓存的办法。

前面讲到，数据库会有复制，可能会多主多从，可能会分片。我们程序在处理数据的过程中，最好能抽象出来单独放做一层。拿现在流行的MVC模式来说，就是在M层下方再放一个数据层，这个数据层不是通常所说的JDBC/PDO/ActiveRecord等，而是你自己的存取数据层，仅对外暴露方法，隐藏数据存取细节。这个数据层内部不要怕写的难看，但一定要提供所有的数据存储功能，其他任何层次不要看到跟数据库打交道的字眼。之所以这样做，是因为在单关系数据库的情况下，可能会SELECT…JOIN…或直接INSERT…INTO…，可你可能会将一些表放到key-value数据库里存储，或者分片，这么做之后原来的语句和方式要全部改变，如果过于分散，则移植时会耗费很大精力，或得到一个很大的Model。在数据层面的设计上，尽量避免JOIN查询，我们可以多做冗余，多做缓存，每种数据尽量只需要一次查询，然后在你的程序里面进行组合。对于比较复杂的数据组合，在实时性要求不高的情况下，可采用异步处理，用户访问时只取处理后的结果。在对于主键的处理上，避免使用自增ID，可以用一定规则生成的唯一值当做主键，这种主键是最简单的分片分布策略。即使用自增ID，也最好用一个自增ID发生器，否则从数据库不小心被写了一下，那主键很容易冲突。

前面讲到，咱数据库前面还有某些缓存挡着。别把mysql的query cache当缓存，应用稍复杂的时候QUERY CACHE反而会成为累赘。缓存跟数据库和业务结合的很紧密，正因为跟业务关系紧密，所以这点没有放之四海而皆准的方法。但我们还是有一些规则可参照。规则一：越接近前端，缓存的颗粒度越大。例如在WEB最前端缓存整个页面，再往后一层缓存部分页面区域，再往后缓存区域内的单条记录。因为越靠近后端，我们的可操作性越灵活，并且变化最多的前端代码也比较方便编写。在实践中，因为产品需求变化速度非常快，迭代周期越来越短，有时很难将Controller和Model分的那么清楚，Controller层面处理部分缓存必不可免，但要保证如果出现这种情况，Controller所操作的缓存一定不要影响其他数据需求方，也就是要保证这个缓存数据只有这一个Controller在用。规则二：没有缓存时程序不能出错。在不考虑缓存失效引发的雪崩效应时，你的程序要有缓存跟没缓存一个样，不能像新浪微博一样，缓存一失效，粉丝微博全空，整个应用都乱套了。在缓存必不可少的情况下，给用户出错信息都比给一个让人误解的信息强。规则三，缓存更新要保证原子性或称作线程安全，特别是采用被动缓存的方式时，很可能两个用户访问时导致同一个缓存被更新，通常情况这不是大问题，可缓存失效后重建时很可能是引发连锁反应的原因之一。规则四：缓存也是有成本的。不只是技术成本，还有人工时间成本。如果一个功能使用缓存和不使用，在可预见的访问量情况下区别微小，但使用缓存会使复杂度增加，那就不用，我们可以加个TODO标注，在下次迭代的时候加上缓存处理。

前面讲到，文件存储是独立的，那么所有的文件操作就都是远程调用。可以在文件服务器上提供一个很简单的RESTful接口，也可以提供xmlrpc或json serveice，WEB服务器端所生成和处理的文件，全部通过接口通知文件服务器去处理，WEB服务器本身不要提供任何文件存储。你会发现很多大网站的上传图片跟保存文章是分两步完成的，就是基于这个原因。

以上几条“前面讲到”，其实无数人都讲过，我也只是结合前几篇文章用自己的话重复了一遍，真正分析起来精髓很简单——除了良好的功能逻辑分层，我们还要为数据库存储、缓存、队列、文件服务等程序外层资源调用单独设计接口，你可以把你的程序想象成是运行在 Amazon EC2 上并用他的所有web service服务，你的数据库就是它的SimpleDB，你的队列就是他的SQS，你的存储就是他的S3，唯一不同是amazon的接口是远程调用，你的是内部调用。

将支撑服务接口化，意味着将MySQL更换到PostgreSQL不需要更改业务处理程序，移植团队甚至不需要跟业务开发团队过多沟通；意味着业务开发团队是对接口编程而不是对数据库编程；意味着不会因为某个业务开发人员的失误而拖垮性能。

对程序扫盲不感兴趣的直接看这里——

产品设计完了，程序框架搭完了，可能有矛盾在这个节骨眼儿产生了。不断有产品设计抱怨说他的创意没实现到预期效果，有程序员抱怨说产品设计不切实际。这种抱怨多缘于产品人员不懂技术，技术人员不理解产品。从广义上来讲，产品包含市场策略、营销手段、功能设计，产品和技术在争论时往往把焦点放在功能上，而实际重点是，实现这个功能所消耗的成本跟能这个功能带来的利益能否换算，能否取其轻重。若可以，争议解决。若不能，则抛硬币看运气。因为一个功能的加强而引发指标井喷，或因项目拖延而导致贻误战机的例子比比皆是。激进的决策者注重利益，保守的决策者注重损失，聪明的决策者会考虑这个问题是否真的那么严重。

关系到未来的事情谁都说不准，要不怎么说创业一半靠运气呢。不过总有能说的准的事情，那就得靠数据说话。

没有100%也有99.9%的网站安装了访问统计代码，连我的 http://zhiyi.us 也不例外，新闻联播也总说科学决策科学发展的。有了统计，能确定的事情就很多了。例如，可以根据来源-目标转化率来分析哪类渠道的人均获取成本低，根据来源-内容访问猜测用户跳出率原因，根据用户点击行为判断链接位置是否合理等。将数据以不同方式组合起来，找到内在联系，分析内因外因，制定对应策略，减少拍脑门决策。靠数据支撑运营是个非常专业的事情，虽然不懂深奥的数学模型不会复杂的公式计算，渐渐学会因为A所以B，因为A和B所以C还是相对简单的。

转载请注明出处 http://zhiyi.us/internet/thinking-twice-before-building-your-site-final.html

转载请注明出自 http://zhiyi.us ，假如您还想从这转到好文章的话。

对互联网有了解的人都有自己的想法，有人就把想法付诸实现，做个网站然后开始运营。其实从纯网站技术上来说，因为开源模式的发展，现在建一个小网站已经很简单也很便宜。当访问量到达一定数量级的时候成本就开始飙升了，问题也开始显现了。因为带宽的增加、硬件的扩展、人员的扩张所带来的成本提高是显而易见的，而还有相当大的一部分成本是因为代码重构、架构重构，甚至底层开发语言更换引起的，最惨的就是数据丢失，辛辛苦苦好几年，一夜回到创业前。

减少成本就是增加利润。很多事情，我们在一开始就可以避免，先打好基础，往后可以省很多精力，少操很多心。

假设你是一个参与创业的技术人员，当前一穷二白，什么都要自己做，自己出钱，初期几十万的资金，做一个应用不是特别复杂的网站，那么就要注意以下几点：

一、开发语言

一般来说，技术人员（程序员）创业都是根据自己技术背景选择自己最熟悉的语言，不过考虑到不可能永远是您一个人写程序，这点还得仔细想想。无论用什么语言，最终代码质量是看管理，所以我们还是从纯语言层面来说实际一点。现在流行的java、php、.net、python、ruby都有自己的优劣，python和ruby，现在人员还是相对难招一些，性能优化也会费些力气，.net平台买不起windows server。java、php用的还是最多。对于初期，应用几乎都是靠前端支撑的网站来说，php的优势稍大一些，入门简单、设计模式简单、写起来快、性能足够等，不过不注重设计模式也是它的劣势，容易变得松散，隐藏bug稍多、难以维护。java的优势在于整套管理流程已经有很多成熟工具来辅助，强类型也能避免一些弱智BUG，大多数JAVA程序员比较注重设计模式，别管实不实际，代码格式看起来还是不错的。这也是个劣势，初学者可能太注重模式而很难解决实际需求。

前端不只是html、css这类。整个负责跟用户交互的部分都是前端，包括处理程序。这类程序还是建议用php，主要原因就是开发迅速、从业人员广泛。至于后端例如行为分析、银行接口、异步消息处理等，随便用什么程序，那个只能是根据不同业务需求来选择不同语言了。

二、代码版本管理

如果开发人员之间的网络速度差不多，就SVN；比较分散例如跨国，就hg。大多数人还是svn的.

假设选了svn，那么有几点考虑。一是采用什么树结构。初期可能只有一条主干，往后就需要建立分支，例如一条开发分支，一条上线分支，再往后，可能要每个小组一个分支。建议一开始人少时选择两条分支，开发和线上，每个功能本地测试无误后提交到开发分支，最后统一测试，可以上线时合并到上线分支。如果喜欢把svn当做移动硬盘用，写一点就commit一次也无所谓，就是合并的时候头大一些，这些人可以自己建个分支甚至建立个本地代码仓库，随便往自己的分支提交，测试完毕后再提交到开发分支上。

部署，可以手工部署也可以自动部署。手工部署相对简单，一般是直接在服务器上svn update，或者找个新目录svn checkout，再把web root给ln -s过去。应用越复杂，部署越复杂，没有什么统一标准，只要别再用ftp上传那种形式就好，一是上传时文件引用不一致错误率增加，二是很容易出现开发人员的版本跟线上版本不一致，导致本来想改个错字结果变成回滚的杯具。如果有多台服务器还是建议自动部署，更换代码的机器从当前服务池中临时撤出，更新完毕后再重新加入。

不管项目多小，养成使用版本管理的好习惯，最起码还可以当做你的备份，我的 http://zhiyi.us 虽然就是一个wordpress，可还是svn了，只改动一两句css那也是劳动成果。

三、服务器硬件

别羡慕大客户和有钱人，看看机房散户区，一台服务器孤独的支撑的网站数不清。如果资金稍微充足，建议至少三台的标准配置，分别用作web处理、数据库、备份。web服务器至少要8G内存，双sata raid1，如果经济稍微宽松，或静态文件或图片多，则15k sas raid1+0。数据库至少16G内存，15k sas raid 1+0。备份服务器最好跟数据库服务器同等配置。硬件可以自己买品牌的底板，也就是机箱配主板和硬盘盒，CPU内存硬盘都自己配，也可以上整套品牌，也可以兼容机。三台机器，市场行情6、7万也就配齐了。

web服务器可以既跑程序又当内存缓存，数据库服务器则只跑主数据库（假如是MySQL的话），备份服务器干的活就相对多一些，web配置、缓存配置、数据库配置都要跟前两台一致，这样WEB和数据库任意一台出问题，把备份服务器换个ip就切换上去了。备份策略，可以drbd，可以rsync，或者其他的很多很多的开源备份方案可选择。rsync最简单，放cron里自己跑就行。备份和切换，建议多做测试，选最安全最适合业务的，并且尽可能异地备份。

四、机房

三种机房尽量不要选：联通访问特别慢的电信机房、电信访问特别慢的联通机房、电信联通访问特别慢的移动或铁通机房。那网通机房呢？亲，网通联通N久以前合并改叫联通了。多多寻找，实地参观，多多测试，多方打探，北京、上海、广州等各个主节点城市，还是有很多优质机房的，找个网络质量好，管理严格的机房，特别是管理要严格，千万别网站无法访问了，打个电话过去才知道别人维护时把你网线碰掉了，这比DOS都头疼。自己扯了几根光纤就称为机房的，看您抗风险程度和心理素质了。机房可以说是非常重要，直接关系到网站访问速度，网站访问速度直接关系到用户体验，我可以翻墙看风景，但买个网游vpn才能打开你这个还不怎么知名的网站就有难度了。或许您网站的ajax很出色，可是document怎么也不ready，一些代码永远绝缘于用户。

五、架构

初期架构一般比较简单，web负载均衡+数据库主从+缓存+分布式存储+队列。大方向上也确实就这几样东西，细节上也无数文章都重复过了，按照将来会有N多WEB，N多主从关系，N多缓存，N多xxx设计就行，基本方案都是现成的，只是您比其他人厉害之处就在于设计上考虑到缓存失效时的雪崩效应、主从同步的数据一致性和时间差、队列的稳定性和失败后的重试策略、文件存储的效率和备份方式等等意外情况。缓存总有一天会失效，数据库复制总有一天会断掉，队列总有一天会写不进去，电源总有一天会烧坏。根据墨菲定律，如果不考虑这些，网站早晚会成为茶几。

六、服务器软件

Linux、nginx、php、mysql，几乎是标配，我们除了看名字，还得选版本。Linux发行版众多，只要没特殊要求，就选个用的人最多的，社区最活跃的，配置最方便的，软件包最全最新的，例如debian、ubuntu。至于RHEL之类的嘛，你用只能在RHEL上才能运行的软件么？剩下的nginx、php、mysql、activemq、其他的等等，除非你改过这些软件或你的程序真的不兼容新版本，否则尽量版本越新越好，版本新，意味着新特性增多、BUG减少、性能增加。总有些道听途说的人跟你说老的版本稳定。所谓稳定，是相对于特殊业务来说的，而就一个php写的网站，大多数人都没改过任何服务器软件源代码，绝大多数情况是能平稳的升级到新版本的。类似于jdk5到jdk6，python2到python3这类变动比较大的升级还是比较少见的。看看ChangeLog，看看升级说明，结合自己情况评估一下，越早升级越好，别人家都用php6写程序了这边还php4的逛游呢。优秀的开源程序升级还是很负责任的，看好文档，别怕。

以上这六点准备完毕，现在我们有了运行环境，有了基本架构骨架，有了备份和切换方案，应该开始着手设计开发方面的事情了。开发方面的事情无数，下一篇会先说一些重点。