一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。httpwww.itokit.com

二、软硬件要求高，系统资源占用率高。对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。

三、要求很高的处理方法和技巧。这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。

那么处理海量数据有哪些经验和技巧呢，我把我所知道的罗列一下，以供大家参考：

一、选用优秀的数据库工具httpwww.itokit.com
现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。

二、编写优良的程序代码
处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。

三、对海量数据进行分区操作
对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘IO，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。

四、建立广泛的索引
对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。

五、建立缓存机制httpwww.itokit.com
当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条Buffer，这对于这个级别的数据量是可行的。

六、加大虚拟内存
如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为1GB，1个P4 2.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为 40966 + 1024 = 25600 M，解决了数据处理中的内存不足问题。

七、分批处理
海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。

八、使用临时表和中间表
数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作，可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。

九、优化查询SQL语句httpwww.itokit.com
在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的，编写高效优良的SQL脚本和存储过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。

十、使用文本格式进行处理
对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择，是一定要选择程序操作文本的，原因为：程序操作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。

十一、        定制强大的清洗规则和出错处理机制
海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。

十二、        建立视图或者物化视图
视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘IO，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。

十三、        避免使用32位机子（极端情况）
目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。

十四、        考虑操作系统问题
海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。

十五、        使用数据仓库和多维数据库存储
数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。

十六、        使用采样数据，进行数据挖掘
基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出400万行，经测试软件测试处理的误差为千分之五，客户可以接受。

还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。
海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。

原文地址是：http://www.itokit.combbsviewthread.phptid=1876

1)不应该针对整个系统进行数据库设计，而应该根据系统架构中的组件划分，针对每个组件所处理的业务进行组件单元的数据库设计；不同组件间所对应的数据库表之间的关联应尽可能减少，如果不同组件间的表需要外键关联也尽量不要创建外键关联，而只是记录关联表的一个主键，确保组件对应的表之间的独立性，为系统或表结构的重构提供可能性。

2)采用领域模型驱动的方式和自顶向下的思路进行数据库设计，首先分析系统业务，根据职责定义对象。对象要符合封装的特性，确保与职责相关的数据项被定义在一个对象之内，这些数据项能够完整描述该职责，不会出现职责描述缺失。并且一个对象有且只有一项职责，如果一个对象要负责两个或两个以上的职责，应进行分拆。

3)根据建立的领域模型进行数据库表的映射，此时应参考数据库设计第二范式：一个表中的所有非关键字属性都依赖于整个关键字。关键字可以是一个属性，也可以是多个属性的集合，不论那种方式，都应确保关键字能够保证唯一性。在确定关键字时，应保证关键字不会参与业务且不会出现更新异常，这时，最优解决方案为采用一个自增数值型属性或一个随机字符串作为表的关键字。

4)由于第一点所述的领域模型驱动的方式设计数据库表结构，领域模型中的每一个对象只有一项职责，所以对象中的数据项不存在传递依赖，所以，这种思路的数据库表结构设计从一开始即满足第三范式：一个表应满足第二范式，且属性间不存在传递依赖。

5)同样，由于对象职责的单一性以及对象之间的关系反映的是业务逻辑之间的关系，所以在领域模型中的对象存在主对象和从对象之分，从对象是从1－N或N－N的角度进一步主对象的业务逻辑，所以从对象及对象关系映射为的表及表关联关系不存在删除和插入异常。

6)在映射后得出的数据库表结构中，应再根据第四范式进行进一步修改，确保不存在多值依赖。这时，应根据反向工程的思路反馈给领域模型。如果表结构中存在多值依赖，则证明领域模型中的对象具有至少两个以上的职责，应根据第一条进行设计修正。第四范式：一个表如果满足BCNF，不应存在多值依赖。

7)在经过分析后确认所有的表都满足二、三、四范式的情况下，表和表之间的关联尽量采用弱关联以便于对表字段和表结构的调整和重构。并且，我认为数据库中的表是用来持久化一个对象实例在特定时间及特定条件下的状态的，只是一个存储介质，所以，表和表之间也不应用强关联来表述业务（数据间的一致性），这一职责应由系统的逻辑层来保证，这种方式也确保了系统对于不正确数据（脏数据）的兼容性。当然，从整个系统的角度来说我们还是要尽最大努力确保系统不会产生脏数据，单从另一个角度来说，脏数据的产生在一定程度上也是不可避免的，我们也要保证系统对这种情况的容错性。这是一个折中的方案。

8)应针对所有表的主键和外键建立索引，有针对性的（针对一些大数据量和常用检索方式）建立组合属性的索引，提高检索效率。虽然建立索引会消耗部分系统资源，但比较起在检索时搜索整张表中的数据尤其时表中的数据量较大时所带来的性能影响，以及无索引时的排序操作所带来的性能影响，这种方式仍然是值得提倡的。

9)尽量少采用存储过程，目前已经有很多技术可以替代存储过程的功能如“对象/关系映射”等，将数据一致性的保证放在数据库中，无论对于版本控制、开发和部署、以及数据库的迁移都会带来很大的影响。但不可否认，存储过程具有性能上的优势，所以，当系统可使用的硬件不会得到提升而性能又是非常重要的质量属性时，可经过平衡考虑选用存储过程。

10)当处理表间的关联约束所付出的代价（常常是使用性上的代价）超过了保证不会出现修改、删除、更改异常所付出的代价，并且数据冗余也不是主要的问题时，表设计可以不符合四个范式。四个范式确保了不会出现异常，但也可能由此导致过于纯洁的设计，使得表结构难于使用，所以在设计时需要进行综合判断，但首先确保符合四个范式，然后再进行精化修正是刚刚进入数据库设计领域时可以采用的最好办法。

11)设计出的表要具有较好的使用性，主要体现在查询时是否需要关联多张表且还需使用复杂的SQL技巧。

12)设计出的表要尽可能减少数据冗余，确保数据的准确性，有效的控制冗余有助于提高数据库的性能。

一、           数据库设计的几个原则

一个好的数据库产品不等于就是一个好的应用系统，如果不能设计一个合理的数据库模型，不仅会增加客户端与服务器端的编程和维护难度，而且会影响系统实际运行的性能。因此，要想开发出一款理想的数据库产品应遵循以下设计准则：

（1）       命名规范化

不同的数据库产品对对象的命名有不同的要求。数据库中的各种对象的命名以及后台程序的代码编写应采用大小写敏感的字母形式，各种对象命名长度不要超过30个字符，这样便于应用系统适应不同的数据库。

（2）       慎用游标(Cursor)

对多表和大表定义的游标（大的数据集合）而言，使用游标逐行遍历数据很容易使程序进入漫长的等待甚至死机，因此在使用游标时，可以考虑建立一个临时表，将符合条件的数据行转入临时表中，再对临时表定义游标进行操作，这时性能会得到明显提高。

（3）       索引(Index)的使用

索引一般用于快速访问表中的数据。大型数据库有两种索引，即簇索引和非簇索引。添加任何一种索引均能提高按索引列查询的速度，但会降低插入、更新、删除操作的性能，尤其是当填充因子(Fill Factor)较大时。所以，如果要对索引较多的表进行频繁的插入、更新、删除操作，建立表和索引时应该设置较小的填充因子，以便在各项数据页中留下较多的自由空间，减少页分割及重新重新组织的工作，这样才能够提高性能。

（4）       数据的一致性和完整性

为了保证数据库的一致性和完整性，设计人员往往会设计过多的表间关联，尽可能地降低数据的冗余。但是，表间关联是一种强制性措施，建立后，对父表和子表的插入、更新、删除操作均要占用系统的开销。此外，最好不要用Identify属性字段作为主键与子表关联。如果数据冗余低，数据的完整性容易得到保证，但增加了表间连接查询的操作，因此，为了提高系统的响应时间，合理的数据冗余也是必要的。

（5）       事务的使用

事务是必须一次性完成的一组操作。虽然这些操作是单个的操作，但数据库系统能够保证这组操作要么全部都完成，要么一点都不做。正是大型数据库的这一特性，使得数据的完整性得到了极大的保证。

（6）       数据库性能调整

在计算机硬件配置和网络设计确定的情况下，影响到应用系统性能的因素主要是数据库性能和客户端程序设计。大多数数据库设计员采用两步法进行数据库设计：首先进行逻辑设计，而后进行物理设计。数据库逻辑设计去除了所有冗余数据，提高了数据吞吐速度，保证了数据的完整性，清楚地表达数据元素之间的关系。而对于多表之间的关联查询（尤其是大数据表）时，其性能将会降低，同时也提高了客户端程序的编程难度，因此，物理设计需折中考虑，根据业务规则，确定关联表的数据量大小、数据项的访问频度，对此类数据表频繁的关联查询应适当提高数据冗余设计。

（7）       数据类型的选择

数据类型的合理选择对于数据库的性能和操作具有很大的影响。

?         Identify字段不要作为表的主键与其他表关联，这将会影响到该表的数据迁移。

?         Text和Image字段属指针型数据，主要用来存放二进制大型对象(BLOB)。这类数据的操作相比其他数据类型较慢，因此要避开使用。

?         日期型字段的优点是有众多的日期函数支持，因此，在日期的大小比较、加减操作上非常简单。但是，按照日期作为条件的查询操作也要用函数，相比其他数据类型在速度上就慢许多。这是因为用函数作为查询的条件时，服务器无法用先进的性能策略来优化查询，只能进行表扫描遍历每行。

二、           数据库设计的基本步骤

对于数据库设计来说，比较统一的看法是分为5个步骤：需求分析，概念结构设计，逻辑结构设计，物理设计，数据实施和维护。

1．     需求分析

要设计一个良好的数据库系统，首先要明确应用环境对系统的要求。因此，对应用环境的需求收集和分析就是数据库设计的第一步。需求阶段收集到的基础数据和一组数据流程图是进行下一步概念设计的基础。需求分析包括以下几个方面：

（1）       收集资料

收集资料是数据库设计人员和用户共同完成的任务。强调各级用户的参与是数据库应用系统设计的特点之一。

（2）       分析整理

在大量资料收集完成以后，就要对资料进行分析和整理。分析的过程是对所收集到的数据进行抽象的过程。

（3）       数据流程图

在系统分析中通常采用数据流程图(Data Flow Diagram)来描述系统的数据流向和对数据的处理功能。

（4）       数据字典(Data Dictionary)

除了一套数据流程图外，还要从原始的数据资料中分析整理出下述数据信息：数据元素的名称、同义词、性质、取值范围、提供者、使用者、控制权限、保密要求、使用频率、数据量、数据之间联系的语义说明、各个部门对数据的要求以及数据处理要求。

（5）       用户确认

数据流程图集和数据字典的内容必须返回给用户，并且用非专业术语与用户交流。

需求分析阶段的成果要形成文档资料，至少包括各项业务的数据流程图及有关说明和对各类数据描述的集合，即数据字典。

2．     概念结构设计

将需求分析得到的用户需求抽象为信息结构设计及概念模型的过程就是概念结构设计，它是整个数据库设计的关键。概念建模的过程包括定义实体集、定义联系和定义属性。当这3种成分确定之后，就可以用E-R方法来进行数据库的概念设计。在设计完全局的E-R图之后，要尽量消除冗余。

3．     逻辑结构设计

数据库逻辑设计的任务是将概念结构设计阶段设计好的基本E-R图，转换成特定DBMS所支持的数据模型的过程。这样开始进入“实现设计”，需要考虑具体DBMS的性能，具体的数据模型特点。逻辑设计可分为E-R图向关系模型的转化、数据模型的优化和设计用户子模式3个过程。

4．     物理设计

对于给定的逻辑数据模型选取一个最适合应用环境的物理结构的过程，称为数据库物理设计。数据库的物理设计通常分为两步：确定数据库的物理结构，在关系数据库中主要指存取方法与存储结构：对物理结构进行评价，评价的重点的时间和空间效率。

5．     数据库的实施和维护

数据库的实施和维护过程可分数据的载入和应用程序的调试、数据库的试运行和数据库的维护与运行。

一个好的数据库产品不等于就有一个好的应用系统，如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。一般来讲，在一个MIS系统分析、设计、测试和试运行阶段，因为数据量较小，设计人员和测试人员往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性能在降低，这时再来考虑提高系统性能则要花费更多的人力物力，而整个系统也不可避免的形成了一个打补丁工程。笔者依据多年来设计和使用数据库的经验，提出以下一些设计准则，供同仁们参考。

命名的规范

---- 不同的数据库产品对对象的命名有不同的要求，因此，数据库中的各种对象的命名、后台程序的代码编写应采用大小写敏感的形式，各种对象命名长度不要超过30个字符，这样便于应用系统适应不同的数据库。

游标（Cursor）的慎用

---- 游标提供了对特定集合中逐行扫描的手段，一般使用游标逐行遍历数据，根据取出的数据不同条件进行不同的操作。尤其对多表和大表定义的游标（大的数据集合）循环很容易使程序进入一个漫长的等特甚至死机，笔者在某市《住房公积金管理系统》进行日终帐户滚积数计息处理时，对一个10万个帐户的游标处理导致程序进入了一个无限期的等特（后经测算需48个小时才能完成）(硬件环境：Alpha/4000 128Mram ,Sco Unix ,Sybase 11.0)，后根据不同的条件改成用不同的UPDATE语句得以在二十分钟之内完成。示例如下：
Declare Mycursor cursor for select  count_no from COUNT
Open Mycursor
Fetch Mycursor into @vcount_no
While (@@sqlstatus=0)
   Begin
If  @vcount_no=’’  条件1
操作1
  If  @vcount_no=’’  条件2
操作2
。。。
Fetch Mycursor into @vcount_no
End
。。。
。。。
改为
Update COUNT set  操作1 for 条件1
Update COUNT set  操作2 for 条件2
。。。
。。。

---- 在有些场合，有时也非得使用游标，此时也可考虑将符合条件的数据行转入临时表中，再对临时表定义游标进行操作，可时性能得到明显提高。笔者在某地市〈电信收费系统〉数据库后台程序设计中，对一个表（3万行中符合条件的30多行数据）进行游标操作(硬件环境：PC服务器，PII266 64Mram ,NT4.0 Ms Sqlserver 6.5)。 示例如下：

Create #tmp   /* 定义临时表 */
(字段1
字段2
。。。
)
Insert into #tmp select * from TOTAL where 
条件  /* TOTAL中3万行 符合条件只有几十行 */
Declare Mycursor cursor for select * from #tmp
/*对临时表定义游标*/
。。。

索引(Index)的使用原则

---- 创建索引一般有以下两个目的：维护被索引列的唯一性和提供快速访问表中数据的策略。大型数据库有两种索引即簇索引和非簇索引，一个没有簇索引的表是按堆结构存储数据，所有的数据均添加在表的尾部，而建立了簇索引的表，其数据在物理上会按照簇索引键的顺序存储，一个表只允许有一个簇索引，因此，根据B树结构，可以理解添加任何一种索引均能提高按索引列查询的速度，但会降低插入、更新、删除操作的性能，尤其是当填充因子（Fill Factor）较大时。所以对索引较多的表进行频繁的插入、更新、删除操作，建表和索引时因设置较小的填充因子，以便在各数据页中留下较多的自由空间，减少页分割及重新组织的工作。

数据的一致性和完整性

---- 为了保证数据库的一致性和完整性，设计人员往往会设计过多的表间关联（Relation），尽可能的降低数据的冗余。表间关联是一种强制性措施，建立后，对父表（Parent Table）和子表(Child Table)的插入、更新、删除操作均要占用系统的开销，另外，最好不要用Identify 属性字段作为主键与子表关联。如果数据冗余低，数据的完整性容易得到保证，但增加了表间连接查询的操作，为了提高系统的响应时间，合理的数据冗余也是必要的。使用规则（Rule）和约束（Check）来防止系统操作人员误输入造成数据的错误是设计人员的另一种常用手段，但是，不必要的规则和约束也会占用系统的不必要开销，需要注意的是，约束对数据的有效性验证要比规则快。所有这些，设计人员在设计阶段应根据系统操作的类型、频度加以均衡考虑。

事务的陷阱

---- 事务是在一次性完成的一组操作。虽然这些操作是单个的操作，SQL Server能够保证这组操作要么全部都完成，要么一点都不做。正是大型数据库的这一特性，使得数据的完整性得到了极大的保证。
---- 众所周知，SQL Server为每个独立的SQL语句都提供了隐含的事务控制，使得每个DML的数据操作得以完整提交或回滚，但是SQL Server还提供了显式事务控制语句

---- BEGIN TRANSACTION 开始一个事务

---- COMMIT TRANSACTION 提交一个事务

---- ROLLBACK TRANSACTION 回滚一个事务

---- 事务可以嵌套，可以通过全局变量@@trancount检索到连接的事务处理嵌套层次。需要加以特别注意并且极容易使编程人员犯错误的是，每个显示或隐含的事物开始都使得该变量加1，每个事务的提交使该变量减1，每个事务的回滚都会使得该变量置0，而只有当该变量为0时的事务提交（最后一个提交语句时），这时才把物理数据写入磁盘。

数据库性能调整

---- 在计算机硬件配置和网络设计确定的情况下，影响到应用系统性能的因素不外乎为数据库性能和客户端程序设计。而大多数数据库设计员采用两步法进行数据库设计：首先进行逻辑设计，而后进行物理设计。数据库逻辑设计去除了所有冗余数据，提高了数据吞吐速度，保证了数据的完整性，清楚地表达数据元素之间的关系。而对于多表之间的关联查询（尤其是大数据表）时，其性能将会降低，同时也提高了客 户端程序的编程难度，因此，物理设计需折衷考虑，根据业务规则，确定对关联表的数据量大小、数据项的访问频度，对此类数据表频繁的关联查询应适当提高数据冗余设计。

数据类型的选择

---- 数据类型的合理选择对于数据库的性能和操作具有很大的影响，有关这方面的书籍也有不少的阐述，这里主要介绍几点经验。
Identify字段不要作为表的主键与其它表关联，这将会影响到该表的数据迁移。

Text 和Image字段属指针型数据，主要用来存放二进制大型对象（BLOB）。这类数据的操作相比其它数据类型较慢，因此要避开使用。

日期型字段的优点是有众多的日期函数支持，因此，在日期的大小比较、加减操作上非常简单。但是，在按照日期作为条件的查询操作也要用函数，相比其它数据类型速度上就慢许多,因为用函数作为查询的条件时，服务器无法用先进的性能策略来优化查询而只能进行表扫描遍历每行。
---- 例如：要从DATA_TAB1中（其中有一个名为DATE的日期字段）查询1998年的所有记录。
---- Select * from DATA_TAB1 where datepart(yy,DATE)=1998

2.PK采用无意义的字段（逻辑主键）还是有意义的字段（业务主键）？个人倾向于“逻辑主键”，理由是这样设计出的数据库模型结构清晰、关系脉络清楚，往往更符合“第三范式”（虽然不是故意的，呵呵）。而且更容易避开“联合主键”，而且可以使用索引效率高的字段类型，比如int、long、number。缺点是用无意义的字段建立表间的关系，使跨表查询增多，效率下降。（矛盾无处不在，前面刚说完可以提高效率，这里马上又降低效率）。“业务主键”可以提升查询编码的简洁度和效率。
个人使用实际状况，总体来说“逻辑主键”比“业务主键”执行效率低，但不会低到无法满足需求。采用“逻辑主键”比采用“业务主键”更利于数据库模型的结构、关系清晰，也更便于维护。
对于分析型数据库，如数据仓库，千万不要这样做。

3.不要使用多对多关系？个人倾向于少使用多对多关系。这个问题其实不是数据库设计的问题了，在数据库设计中，多对多关系也仅仅存在于概念模型（E-R）阶段，物理模型不在有多对多关系，实际数据库中也不会有“多对多”关系。这是使用ORM时的问题，比如使用Hibernate，多对多关系有时会使编码看起来灵活一些，代价是效率的明显降低。
个人实际使用中，设计时基本不考虑多对多关系，但编码时总会有小组成员使用一些多对多关系，自己建立多对多的ORM，使自己编码方便些，用在数据量小的地方，影响不大。大数据量，则“禁止使用”。

4.为每个表增加一个state字段？我习惯在设计时给每个表设一个state字段，取值0或1，默认值为1，具体业务意义或操作上的意义可以自定义。可以作为一个状态控制字段，如查询、更新、删除条件，单据是否有效（业务单据对应的表会有业务意义上的“有/无效”或“状态”字段，这种情况下，我还是会再加一个state字段），甚至仅仅是控制一条数据是否“有效”（有效的意义你自己定）。在数据迁移（如转入分析用的数据库）时也可能会发挥作用。

5.为每个表设置一些备用字段？没办法，我总是设计不出“完美”的数据表，给每个表加几个备用字段（我一般用字符串型，随你）可以应付“不时之需”，尤其是需要长期维护的、业务可能有临时性变动的系统。

6.尽量不要在一个表中存入其关联表的字段？建议不存！这样做确实可以提高查询效率，但在一个有很多表，并且关联表多的情况下，很难保持数据的一致性！数据库结构也比较糟糕。而且不存，也不会使效率十分低下。

7.不要去直接修改数据库？个人认为这点很重要，当需要修改时，应该先去修改模型，然后同步物理数据库，尤其是团队开发，否则要多做更多的事情来搞定，也可能会引入更多的错误。 

　　表中的数据如图1：




图1

　　图1中可以看出，产品Chang和Tofu的记录在产品信息表中存在重复。现在要删除这些重复的记录，只保留其中的一条。步骤如下：

　　第一板斧——建立一张具有相同结构的临时表

图2

========第一篇=========
在一张表中某个字段下面有重复记录，有很多方法，但是有一个方法，是比较高效的，如下语句：

select data_guid from adam_entity_datas a where a.rowid > (select min(b.rowid) from adam_entity_datas b where b.data_guid = a.data_guid)

如果表中有大量数据，但是重复数据比较少，那么可以用下面的语句提高效率

select data_guid from adam_entity_datas where data_guid in (select data_guid from adam_entity_datas group by data_guid having count(*) > 1)

此方法查询出所有重复记录了，也就是说，只要是重复的就选出来，下面的语句也许更高效

select data_guid from adam_entity_datas where rowid in (select rid from (select rowid rid,row_number()over(partition by data_guid order by rowid) m from adam_entity_datas) where m <> 1)

目前只知道这三种比较有效的方法。

第一种方法比较好理解，但是最慢，第二种方法最快，但是选出来的记录是所有重复的记录，而不是一个重复记录的列表，第三种方法，我认为最好。

========第二篇=========
select   usercode,count(*)       from   ptype     group   by   usercode     having   count(*)   >1  
========第三篇=========
找出重复记录的ID:  
  select   ID      from      
(         select   ID   ,count(*)   as   Cnt    
          from   要消除重复的表  
          group   by   ID  
  )   T1  
  where   T1.cnt>1  

删除数据库中重复数据的几个方法   
         数据库的使用过程中由于程序方面的问题有时候会碰到重复数据，重复数据导致了数据库部分设置不能正确设置……     
方法一   
       declare   @max   integer,@id   integer   
       declare   cur_rows   cursor   local   for   select   主字段,count(*)   from     
            表名   group   by   主字段   having   count(*)   >   1  
                                          　　open   cur_rows  
                                          　　fetch   cur_rows   into   @id,@max  
                                          　　while   @@fetch_status=0  
                                          　　begin  
                                          　　select   @max   =   @max   -1  
                                          　　set   rowcount   @max  
                                          　　delete   from   表名   where   主字段   =   @id  
                                          　　fetch   cur_rows   into   @id,@max  
                                          　　end  
                                          　　close   cur_rows  
                                          　　set   rowcount   0   
   
方法二  
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。   
    
  1、对于第一种重复，比较容易解决，使用   
     select   distinct   *   from   tableName   
    就可以得到无重复记录的结果集。  
如果该表需要删除重复的记录，可以按以下方法删除  
select   distinct   *   into   #Tmp   from   tableName  
drop   table   tableName  
select   *   into   tableName   from   #Tmp  
drop   table   #Tmp   
    
 2、这类重复问题通常要求保留重复记录中的第一条记录，*作方法如下  
假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集  
　select   identity(int,1,1)   as   autoID,   *   into   #Tmp   from     
  tableName  
　select   min(autoID)   as   autoID   into   #Tmp2   from   #Tmp   group   by     
  Name,autoID  
select   *   from   #Tmp   where   autoID   in(select   autoID   from     
  #tmp2)   
    
 最后一个select即得到了Name，Address不重复的结果集  
更改数据库中表的所属用户的两个方法  
大家可能会经常碰到一个数据库备份还原到另外一台机器结果导致所有的表都不能打开了，原因是建表的时候采用了当时的数据库用户……    
========第四篇=========
如何查询数据库中的重复记录？

比如说有个表中的数据是这样：
---------
a
a
a
b
b
c
---------

查询出的结果是：
记录  数量
a           3
b           2
c           1

怎样写这个SQL语句？
-----------------------
select distinct(name),count(*) from tabname group by name;
-------------------------------------
想出来了，这样就可以排序了。
select a1,count(a1)  as total from tablename group by a1 order by total desc
--------------------------------------
select distinct(a1),count(a1) as total from tablename group by a1 order by total desc
加个distinct更有效率
--------------------------------------------------------------
select p.*, m.* from table1 p left join table2 m on p.item1=m.item2 where p.item3='#$#@%$@' order by p.item3 asc limit 10
就类似这么写
========第五篇=========
如何查找数据库中的重复记录? 能在Access中用的方法
----------------------------------------------------------------------
select *
from 表 A inner join (select 字段1,字段2 from 表 group by 字段1,字段2 having Count(*)>1) B on A.字段1=B.字段1 and A.字段2=B.字段2
--------------------------------------------------------
问题：
 根据其中几个字段判断重复，只保留一条记录，但是要显示全部字段，怎么查询，谢谢！！
比如
字段1 字段2 字段3 字段4
a     b     c      1
a     b     c      1

a     b     d      2
a     b     d      3

b     b     d      2

想得到的结果为
a     b     c      1
a     b     d      2（或者3）
b     b     d      2
说明，根据字段1，2,3组合不重复，字段4 不考虑，得到了3个记录
但是也要显示字段4。 
  方法一：  
可以用临时表的方法来解决：
CurrentProject.Connection.Execute "drop table temptable"
CurrentProject.Connection.Execute "select * into temptable from 表2 where 1=2"
CurrentProject.Connection.Execute "insert into temptable(字段1,字段2,字段3) SELECT DISTINCT 表2.字段1, 表2.字段2, 表2.字段3 FROM 表2;"
CurrentProject.Connection.Execute "UPDATE temptable INNER JOIN 表2 ON (表2.字段1 = temptable.字段1) AND (表2.字段2 = temptable.字段2) AND (表2.字段3 = temptable.字段3) SET temptable.字段4 = [表2].[字段4];" 
方法二：
可以直接使用一个SELECT查询筛选出需要的数据：
可以假定第四字段都选值最小的
SELECT [1],[2], [3], Min([4]) AS Min4
FROM 表1
GROUP BY 表1.[1], 表1.[2], 表1.[3]; 

问题：
 表2

id  NAME  r1   r2
1   1     w    ee
1   1     1    1232
1   2     123  123
1   2     12   434
1   2     123  123
2   1     123  123

ID 为数值，NAME 为字符。每条记录没有唯一标识。
要求取得 ID 和 NAME 合并后不重复的记录，如有重复保留其中一条即可，但要显示所有记录。 
  回答： 
 SELECT a.*, (select top 1 r1 from 表2 as a1 where a1.id=a.id and a1.name=a.name) AS r1, (select top 1 r2 from 表2 as a2 where a2.id=a.id and a2.name=a.name) AS r2
FROM [SELECT DISTINCT 表2.id, 表2.NAME
FROM 表2]. AS a; 

SELECT a.*, dlookup("r1","表2","id=" & a.id  & " and name='"& a.name & "'") AS r1, dlookup("r2","表2","id=" & a.id  & " and name='"& a.name & "'") AS r2
FROM [SELECT DISTINCT 表2.id, 表2.NAME
FROM 表2]. AS a; 

注意，上述代码中由于没有唯一标识列，因此显示的 R1 R2 的先后次序无从确定，一般是按输入的先后顺序，但是微软没有官方资料说明到底按哪个顺序，请网友注意。

请注意，上述表2为没有唯一标识字段，如果现在再建立一个自动编号字段“主键”则可以用以下代码

SELECT a.ID, a.name, b.r1, b.r2, b.主键
FROM (SELECT 表2.id, 表2.NAME, Min(表2.主键) AS 主键
FROM 表2
GROUP BY 表2.id, 表2.NAME) AS a inner JOIN 表2 AS b ON a.主键=b.主键; 

========第六篇=========
1.查询数据库中重复的记录:
select realname,count(*) from users group by realname having count(*)>1
========第七篇=========
SELECT   T0.ItemCode,   T0.ItemName   FROM   OITM   T0   WHERE   exists   (select   1   from   OITM   A   where   A.CODEBARS   =   TO.CODEBARS   And   A.ItemCode   < >   TO.ItemCode)
========第八篇=========
 相信很多人在查询数据库时都会碰到检索某表中不重复记录的时候,提到检索不重复记录,马上想到的肯定是Distinct或者Group By分组,
小弟在初次使用的时候碰到了一些麻烦,这里拿出来与大家分享,希望对更多的朋友有所帮助!

    先看看数据库表结构：
        表名: TEST  字段: Id,A,B,C,D
        其中B字段包含重复值;

Id	A	B	C	D
1	11	a	34	bvb
2	22	a	35	fgfg
3	33	d	ht	sdf
4	44	a	345	de
5	55	c	sfsf	sscv
6	66	b	rt	fg

   
  





 



   

下面我们来看看用什么样的SQL语句检索出不含重复记录的数据:
 使用Distinct关键字
      Distinct关键字主要用来在SELECT查询记录中根据某指定字段的值去除重复记录
     SELECT DISTINCT [字段名] FROM [表名] WHERE [检索条件字句]

    所以用这样一句SQL就可以去掉重复项了:
        

    但是:

      这里有一个非常非常需要注意的地方：
      SELECT DISTINCT [字段名]后面不能再跟其他的字段，否则检索出来的记录仍然会含有重复项；
      错误写法：
            SELECT DISTINCT [字段名] ，[其他字段名] FROM [表名] WHERE [检索条件字句]
   
    实际上,我们上面SQL语句结果集里就只有B字段;(一般情况下,这种结果应该是很难满足需求的)


    如果我们的记录集里还需要有其他字段值,那怎么办呢?

实际上,我们完全可以用另一种办法来解决问题;只是需要用到子查询而已!

使用GROUP BY 分组
    有一点需要注意:
       使用带有GROUP BY字句的查询语句时,在SELECT列表指定的列要么是GROUP BY 指定的列,要么包含聚合组函数

    所以用这样一句SQL就可以去掉重复项了:

    这样就得到我们想要的结果集了:
   

Id	A	B	C	D
1	11	a	34	bvb
3	33	d	ht	sdf
5	55	c	sfsf	sscv
6	66	b	rt	fg

       

      






========第九篇======mysql===
----------------------------------------------------------------------

我的mysql表中的帐号是8位的随机数,我现在想查帐号有没有重复的,应该怎样操作,


----------------------------------------------------------------------

select count(*) as num,帐号 from TABLE GROUP BY 帐号
num > 1 就有重复!

========第十篇====（着急的人直接看红字）=====
在使用mysql时，有时需要查询出某个字段不重复的记录，虽然mysql提供有distinct这个关键字来过滤掉多余的重复记录只保留一条，但往往只用它来返回不重复记录的条数，而不是用它来返回不重记录的所有值。其原因是distinct只能返回它的目标字段，而无法返回其它字段，这个问题让我困扰了很久，用distinct不能解决的话，我只有用二重循环查询来解决，而这样对于一个数据量非常大的站来说，无疑是会直接影响到效率的。所以我花了很多时间来研究这个问题，网上也查不到解决方案，期间把容容拉来帮忙，结果是我们两人都郁闷了。。。。。。。。。

下面先来看看例子：

    table
  id name
  1 a
  2 b
  3 c
  4 c
  5 b

库结构大概这样，这只是一个简单的例子，实际情况会复杂得多。

比如我想用一条语句查询得到name不重复的所有数据，那就必须使用distinct去掉多余的重复记录。

select distinct name from table
得到的结果是:

  name
  a
  b
  c

好像达到效果了，可是，我想要得到的是id值呢？改一下查询语句吧:

select distinct name, id from table

结果会是:

  id name
  1 a
  2 b
  3 c
  4 c
  5 b

distinct怎么没起作用？作用是起了的，不过他同时作用了两个字段，也就是必须得id与name都相同的才会被排除。。。。。。。

我们再改改查询语句:

select id, distinct name from table

很遗憾，除了错误信息你什么也得不到，distinct必须放在开头。难到不能把distinct放到where条件里？能，照样报错。。。。。。。

很麻烦吧？确实，费尽心思都没能解决这个问题。没办法，继续找人问。

拉住公司里一JAVA程序员，他给我演示了oracle里使用distinct之后，也没找到mysql里的解决方案，最后下班之前他建议我试试group by。

试了半天，也不行，最后在mysql手册里找到一个用法，用group_concat(distinct name)配合group by name实现了我所需要的功能，兴奋，天佑我也，赶快试试。

报错。。。。。。。。。。。。郁闷。。。。。。。连mysql手册也跟我过不去，先给了我希望，然后又把我推向失望，好狠哪。。。。

再仔细一查，group_concat函数是4.1支持，晕，我4.0的。没办法，升级，升完级一试，成功。。。。。。

终于搞定了，不过这样一来，又必须要求客户也升级了。

突然灵机一闪，既然可以使用group_concat函数，那其它函数能行吗？

赶紧用count函数一试，成功，我。。。。。。。想哭啊，费了这么多工夫。。。。。。。。原来就这么简单。。。。。。

现在将完整语句放出:

select *, count(distinct name) from table group by name

结果:

  id name count(distinct name)
  1 a 1
  2 b 1
  3 c 1

最后一项是多余的，不用管就行了，目的达到。。。。。

唉，原来mysql这么笨，轻轻一下就把他骗过去了，郁闷也就我吧（对了，还有容容那家伙），现在拿出来希望大家不要被这问题折腾。

哦，对，再顺便说一句，group by 必须放在 order by 和 limit之前，不然会报错，差不多了，发给容容放网站上去，我继续忙碌。。。。。。

-----------------------------------------------------------------------------------------


更郁闷的事情发生了，在准备提交时容容发现，有更简单的解决方法。。。。。。

select id, name from table group by name
select * from table group by name


========第十一篇=========

========第二篇=========

========第二篇=========
========第二篇=========

mysql存储过程的创建，删除，调用及其他常用命令

mysql 5.0存储过程学习总结

一.创建存储过程

1.基本语法：

 

create procedure sp_name()
begin
………
end

2.参数传递

二.调用存储过程

1.基本语法：call sp_name()
注意：存储过程名称后面必须加括号，哪怕该存储过程没有参数传递

三.删除存储过程

1.基本语法：
drop procedure sp_name//
2.注意事项
(1)不能在一个存储过程中删除另一个存储过程，只能调用另一个存储过程

四.区块，条件，循环

1.区块定义，常用
begin
……
end;
也可以给区块起别名，如：
lable:begin
………..
end lable;
可以用leave lable;跳出区块，执行区块以后的代码
2.条件语句

 

if 条件 then
statement
else
statement
end if;

3.循环语句
(1).while循环

[label:] WHILE expression DO

statements

END WHILE [label] ;

 

(2).loop循环

 

[label:] LOOP

statements

END LOOP [label];

 

(3).repeat until循环

 

[label:] REPEAT

statements

UNTIL expression

END REPEAT [label] ;

 

五.其他常用命令

1.show procedure status
显示数据库中所有存储的存储过程基本信息，包括所属数据库，存储过程名称，创建时间等
2.show create procedure sp_name
显示某一个存储过程的详细信息

 

SHOW VARIABLES LIKE 'version';
or
SELECT VERSION();
 
SHOW   TABLES   FROM   database;     查看数据库里面所有的表，
执行    desc   table_name;     或者    
show   columns   from   talbe_name;     查看表中的所有的列

查看数据库
show databases;
查看表
show tables;
show create table table_name;

统计一个表的字段数

1.如何给标识列插入值

表中第一个字段id为标识列
insert into table values (null,'aa',1)

2.如果表存在删除表

drop table if exists tablename

3.date too long for column 解决方法

我用的是5.1，昨天把mysql,php,phpmyadmin的字符集都改成utf8后，用load data infile 命令插入数据时总是出现这样的错误提示：data too long for column 'cname' at row 1;网上搜一下，大都说set character_set=utf8之类的，但还是不行，最后找到了一个：
修改my.ini文件，将
sql-mode=STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
注释掉，ok！
Update:mysql5在phpmyadmin无法连接时执行的语句：
SET PASSWORD FOR ‘root’@'localhost’ = OLD_PASSWORD(’[newpassword]‘);

刚才在导入数据的时候，navicat报错:
Data too long for column ‘ip’ at row 1
提示数据对于ip字段太长

如果数据类型不正确,也会出错,而不像4.*那样自动转换:
sendQuery:Incorrect datetime value: ‘未知’ for column ‘date’ at row 1

如果是数据x (int 11)类型的可能有些奇怪:
insert into a (x) values (’a')
出现:
Out of range value adjusted for column ‘x’ at row 1

insert into a (x) values (’11a’)
出现:
Data truncated for column ‘x’ at row 1

解决办法:
在my.ini里找到
sql-mode=”STRICT_TRANS_TABLES,NO_AUTO_Create_USER,NO_ENGINE_SUBSTITUTION”
把其中的
STRICT_TRANS_TABLES,
去掉,然后重启mysql就ok了

4.分页语句
select * from table where ... order by ... limit n,n

5.mysql 5.0 中文乱码问题
解决mysql5.0的中文乱码问题，只要按下面三步做就可以了：
　1.第一步，修改MySql的配置文件my.ini：
     在安装好Mysql后，在Mysql所在的目录下有一个my.ini文件，修改这个my.ini文件，修改方式如下：
　　　1.1 在[client] 的后面加一条 default-character-set=gb2312
      2.2 把[mysql] 的后面 default-character-set=latin1 改成 default-character-set=gb2312
      2.3 把[mysqd] 的后面 default-character-set=latin1 改成 default-character-set=gb2312
      2.4 在改了上面三处后，后面还一个default-character-set=latin1,这个default-character-set的作用是指定在创建新的表或数据库

时，所使用的默认字符编码,为了方便创建新的表或数据库，建议把定个 default-character-set也改成gb2312。

  2.第二步，设置与数据库连接的字符串：
       在连接字符串(URL)后加上?useUnicode=true&amp;characterEncoding=gb2312这一句，具体如下：
　　<bean id="dataSource"
  class="org.springframework.jdbc.datasource.DriverManagerDataSource">
  <property name="driverClassName">
   <value>com.mysql.jdbc.Driver</value>
  </property>
  <property name="url">
   <value>jdbc:mysql://localhost:3306/数据库名?useUnicode=true&amp;characterEncoding=gb2312</value>
  </property>
  <property name="username">
   <value>用户名</value>
  </property>
  <property name="password">
   <value>密码</value>
  </property>
 </bean>
   3.第三步，在java代码，把SQL语句转换成gb2312的编码，然后再执行该SQL.
       3.1 把字符串转换成gb2312的编码的方式如下：
             public static String GB2312Converter(String str) {
  if (str == null) {
   str = "";
  } else {
   try {
    str = new String(str.getBytes("gb2312"), "gb2312");
   } catch (Exception ex) {
    ex.printStackTrace();
   }
  }
  return str;
      }

         3.2 获取gb2312编码的sql语句：
               String sql = "select name from user ";
               sql = GB2312Converter(sql); // 获取gb2312编码的sql语句,然后就可以执行该sql语句了。