BlogJava-Tinysun-随笔分类-其他

用 Hadoop 进行分布式并行编程转

何克勤 — Fri, 06 Aug 2010 01:42:00 GMT

Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架，借助于 Hadoop, 程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。本文将介绍 MapReduce 计算模型，分布式并行计算等基本概念，以及 Hadoop 的安装部署和基本运行方法。
Hadoop 简介

Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System )。也许到目前为止，Hadoop 还不是那么广为人知，其最新的版本号也仅仅是 0.16，距离 1.0 似乎都还有很长的一段距离，但提及 Hadoop 一脉相承的另外两个开源项目 Nutch 和 Lucene ( 三者的创始人都是 Doug Cutting ),那绝对是大名鼎鼎。Lucene 是一个用 Java 开发的开源高性能全文检索工具包，它不是一个完整的应用程序，而是一套简单易用的 API 。在全世界范围内，已有无数的软件系统，Web 网站基于 Lucene 实现了全文检索功能，后来 Doug Cutting 又开创了第一个开源的 Web 搜索引擎(http://www.nutch.org) Nutch, 它在 Lucene 的基础上增加了网络爬虫和一些和 Web 相关的功能，一些解析各类文档格式的插件等，此外，Nutch 中还包含了一个分布式文件系统用于存储数据。从 Nutch 0.8.0 版本之后，Doug Cutting 把 Nutch 中的分布式文件系统以及实现 MapReduce 算法的代码独立出来形成了一个新的开源项 Hadoop。Nutch 也演化为基于 Lucene 全文检索以及 Hadoop 分布式计算平台的一个开源搜索引擎。

基于 Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序，并将其运行于由成百上千个结点组成的大规模计算机集群上。从目前的情况来看，Hadoop 注定会有一个辉煌的未来："云计算"是目前灸手可热的技术名词，全球各大 IT 公司都在投资和推广这种新一代的计算模式，而 Hadoop 又被其中几家主要的公司用作其"云计算"环境中的重要基础软件，如:雅虎正在借助 Hadoop 开源平台的力量对抗 Google, 除了资助 Hadoop 开发团队外，还在开发基于 Hadoop 的开源项目 Pig, 这是一个专注于海量数据集分析的分布式计算程序。Amazon 公司基于 Hadoop 推出了 Amazon S3 ( Amazon Simple Storage Service )，提供可靠，快速，可扩展的网络存储服务，以及一个商用的云计算平台 Amazon EC2 ( Amazon Elastic Compute Cloud )。在 IBM 公司的云计算项目--"蓝云计划"中，Hadoop 也是其中重要的基础软件。Google 正在跟IBM合作，共同推广基于 Hadoop 的云计算。

迎接编程方式的变革

在摩尔定律的作用下，以前程序员根本不用考虑计算机的性能会跟不上软件的发展，因为约每隔 18 个月，CPU 的主频就会增加一倍，性能也将提升一倍，软件根本不用做任何改变，就可以享受免费的性能提升。然而，由于晶体管电路已经逐渐接近其物理上的性能极限，摩尔定律在 2005 年左右开始失效了，人类再也不能期待单个 CPU 的速度每隔 18 个月就翻一倍，为我们提供越来越快的计算性能。Intel, AMD, IBM 等芯片厂商开始从多核这个角度来挖掘 CPU 的性能潜力，多核时代以及互联网时代的到来，将使软件编程方式发生重大变革，基于多核的多线程并发编程以及基于大规模计算机集群的分布式并行编程是将来软件性能提升的主要途径。

许多人认为这种编程方式的重大变化将带来一次软件的并发危机，因为我们传统的软件方式基本上是单指令单数据流的顺序执行，这种顺序执行十分符合人类的思考习惯，却与并发并行编程格格不入。基于集群的分布式并行编程能够让软件与数据同时运行在连成一个网络的许多台计算机上,这里的每一台计算机均可以是一台普通的 PC 机。这样的分布式并行环境的最大优点是可以很容易的通过增加计算机来扩充新的计算结点，并由此获得不可思议的海量计算能力, 同时又具有相当强的容错能力，一批计算结点失效也不会影响计算的正常进行以及结果的正确性。Google 就是这么做的，他们使用了叫做 MapReduce 的并行编程模型进行分布式并行编程，运行在叫做 GFS ( Google File System )的分布式文件系统上，为全球亿万用户提供搜索服务。

Hadoop 实现了 Google 的 MapReduce 编程模型，提供了简单易用的编程接口，也提供了它自己的分布式文件系统 HDFS,与 Google 不同的是，Hadoop 是开源的，任何人都可以使用这个框架来进行并行编程。如果说分布式并行编程的难度足以让普通程序员望而生畏的话，开源的 Hadoop 的出现极大的降低了它的门槛，读完本文，你会发现基于 Hadoop 编程非常简单，无须任何并行开发经验，你也可以轻松的开发出分布式的并行程序，并让其令人难以置信地同时运行在数百台机器上，然后在短时间内完成海量数据的计算。你可能会觉得你不可能会拥有数百台机器来运行你的并行程序，而事实上，随着"云计算"的普及，任何人都可以轻松获得这样的海量计算能力。例如现在 Amazon 公司的云计算平台 Amazon EC2 已经提供了这种按需计算的租用服务，有兴趣的读者可以去了解一下，这篇系列文章的第三部分将有所介绍。

掌握一点分布式并行编程的知识对将来的程序员是必不可少的，Hadoop 是如此的简便好用，何不尝试一下呢？也许你已经急不可耐的想试一下基于 Hadoop 的编程是怎么回事了，但毕竟这种编程模型与传统的顺序程序大不相同，掌握一点基础知识才能更好地理解基于 Hadoop 的分布式并行程序是如何编写和运行的。因此本文会先介绍一下 MapReduce 的计算模型，Hadoop 中的分布式文件系统 HDFS, Hadoop 是如何实现并行计算的，然后才介绍如何安装和部署 Hadoop 框架，以及如何运行 Hadoop 程序。

MapReduce 计算模型

MapReduce 是 Google 公司的核心计算模型，它将复杂的运行于大规模集群上的并行计算过程高度的抽象到了两个函数，Map 和 Reduce, 这是一个令人惊讶的简单却又威力巨大的模型。适合用 MapReduce 来处理的数据集(或任务)有一个基本要求: 待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。

图 1. MapReduce 计算流程

图一说明了用 MapReduce 来处理大数据集的过程, 这个 MapReduce 的计算过程简而言之，就是将大数据集分解为成百上千的小数据集，每个(或若干个)数据集分别由集群中的一个结点(一般就是一台普通的计算机)进行处理并生成中间结果，然后这些中间结果又由大量的结点进行合并, 形成最终结果。

计算模型的核心是 Map 和 Reduce 两个函数，这两个函数由用户负责实现，功能是按一定的映射规则将输入的对转换成另一个或一批对输出。

表一 Map 和 Reduce 函数
函数输入输出说明
Map List() 1. 将小数据集进一步解析成一批对，输入 Map 函数中进行处理。
2. 每一个输入的会输出一批。是计算的中间结果。
Reduce 输入的中间结果中的 List(v2) 表示是一批属于同一个 k2 的 value

以一个计算文本文件中每个单词出现的次数的程序为例，可以是 <行在文件中的偏移位置, 文件中的一行>，经 Map 函数映射之后，形成一批中间结果 <单词，出现次数>, 而 Reduce 函数则可以对中间结果进行处理，将相同单词的出现次数进行累加，得到每个单词的总的出现次数。

基于 MapReduce 计算模型编写分布式并行程序非常简单，程序员的主要编码工作就是实现 Map 和 Reduce 函数，其它的并行编程中的种种复杂问题，如分布式存储，工作调度，负载平衡，容错处理，网络通信等，均由 MapReduce 框架(比如 Hadoop )负责处理，程序员完全不用操心。

四集群上的并行计算

MapReduce 计算模型非常适合在大量计算机组成的大规模集群上并行运行。图一中的每一个 Map 任务和每一个 Reduce 任务均可以同时运行于一个单独的计算结点上，可想而知其运算效率是很高的，那么这样的并行计算是如何做到的呢？

数据分布存储

Hadoop 中的分布式文件系统 HDFS 由一个管理结点 ( NameNode )和N个数据结点 ( DataNode )组成，每个结点均是一台普通的计算机。在使用上同我们熟悉的单机上的文件系统非常类似，一样可以建目录，创建，复制，删除文件，查看文件内容等。但其底层实现上是把文件切割成 Block，然后这些 Block 分散地存储于不同的 DataNode 上，每个 Block 还可以复制数份存储于不同的 DataNode 上，达到容错容灾之目的。NameNode 则是整个 HDFS 的核心，它通过维护一些数据结构，记录了每一个文件被切割成了多少个 Block，这些 Block 可以从哪些 DataNode 中获得，各个 DataNode 的状态等重要信息。如果你想了解更多的关于 HDFS 的信息，可进一步阅读参考资料： [url]The Hadoop Distributed File System:Architecture and Design [/url]
分布式并行计算

Hadoop 中有一个作为主控的 JobTracker，用于调度和管理其它的 TaskTracker, JobTracker 可以运行于集群中任一台计算机上。TaskTracker 负责执行任务，必须运行于 DataNode 上，即 DataNode 既是数据存储结点，也是计算结点。 JobTracker 将 Map 任务和 Reduce 任务分发给空闲的 TaskTracker, 让这些任务并行运行，并负责监控任务的运行情况。如果某一个 TaskTracker 出故障了，JobTracker 会将其负责的任务转交给另一个空闲的 TaskTracker 重新运行。

本地计算

数据存储在哪一台计算机上，就由这台计算机进行这部分数据的计算，这样可以减少数据在网络上的传输，降低对网络带宽的需求。在 Hadoop 这样的基于集群的分布式并行系统中，计算结点可以很方便地扩充，而因它所能够提供的计算能力近乎是无限的，但是由是数据需要在不同的计算机之间流动，故网络带宽变成了瓶颈，是非常宝贵的，“本地计算”是最有效的一种节约网络带宽的手段，业界把这形容为“移动计算比移动数据更经济”。

图 2. 分布存储与并行计算

任务粒度

把原始大数据集切割成小数据集时，通常让小数据集小于或等于 HDFS 中一个 Block 的大小(缺省是 64M)，这样能够保证一个小数据集位于一台计算机上，便于本地计算。有 M 个小数据集待处理，就启动 M 个 Map 任务，注意这 M 个 Map 任务分布于 N 台计算机上并行运行，Reduce 任务的数量 R 则可由用户指定。

Partition

把 Map 任务输出的中间结果按 key 的范围划分成 R 份( R 是预先定义的 Reduce 任务的个数)，划分时通常使用 hash 函数如: hash(key) mod R，这样可以保证某一段范围内的 key，一定是由一个 Reduce 任务来处理，可以简化 Reduce 的过程。

Combine

在 partition 之前，还可以对中间结果先做 combine，即将中间结果中有相同 key的对合并成一对。combine 的过程与 Reduce 的过程类似，很多情况下就可以直接使用 Reduce 函数，但 combine 是作为 Map 任务的一部分，在执行完 Map 函数后紧接着执行的。Combine 能够减少中间结果中对的数目，从而减少网络流量。

Reduce 任务从 Map 任务结点取中间结果

Map 任务的中间结果在做完 Combine 和 Partition 之后，以文件形式存于本地磁盘。中间结果文件的位置会通知主控 JobTracker, JobTracker 再通知 Reduce 任务到哪一个 DataNode 上去取中间结果。注意所有的 Map 任务产生中间结果均按其 Key 用同一个 Hash 函数划分成了 R 份，R 个 Reduce 任务各自负责一段 Key 区间。每个 Reduce 需要向许多个 Map 任务结点取得落在其负责的 Key 区间内的中间结果，然后执行 Reduce 函数，形成一个最终的结果文件。

任务管道

有 R 个 Reduce 任务，就会有 R 个最终结果，很多情况下这 R 个最终结果并不需要合并成一个最终结果。因为这 R 个最终结果又可以做为另一个计算任务的输入，开始另一个并行计算任务。

五 Hadoop 初体验

Hadoop 支持 Linux 及 Windows 操作系统, 但其官方网站声明 Hadoop 的分布式操作在 Windows 上未做严格测试，建议只把 Windows 作为 Hadoop 的开发平台。在 Windows 环境上的安装步骤如下( Linux 平台类似，且更简单一些):

(1)在 Windows 下，需要先安装 Cgywin, 安装 Cgywin 时注意一定要选择安装 openssh (在 Net category )。安装完成之后，把 Cgywin 的安装目录如 c:\cygwin\bin 加到系统环境变量 PATH 中，这是因为运行 Hadoop 要执行一些 linux 环境下的脚本和命令。

(2)安装 Java 1.5.x，并将 JAVA_HOME 环境变量设置为 Java 的安装根目录如 C:\Program Files\Java\jdk1.5.0_01。

(3)到 Hadoop 官方网站[url] http://hadoop.apache.org[/url]下载Hadoop Core, 最新的稳定版本是 0.16.0. 将下载后的安装包解压到一个目录，本文假定解压到 c:\hadoop-0.16.0。

4)修改 conf/hadoop-env.sh 文件，在其中设置 JAVA_HOME 环境变量： export JAVA_HOME="C:\Program Files\Java\jdk1.5.0_01” (因为路径中 Program Files 中间有空格，一定要用双引号将路径引起来)

至此，一切就绪，可以运行 Hadoop 了。以下的运行过程，需要启动 cygwin, 进入模拟 Linux 环境。在下载的 Hadoop Core 包中，带有几个示例程序并且已经打包成了 hadoop-0.16.0-examples.jar。其中有一个 WordCount 程序，功能是统计一批文本文件中各个单词出现的次数，我们先来看看怎么运行这个程序。Hadoop 共有三种运行模式: 单机(非分布式)模式，伪分布式运行模式，分布式运行模式，其中前两种运行模式体现不了 Hadoop 分布式计算的优势，并没有什么实际意义，但对程序的测试及调试很有帮助，我们先从这两种模式入手，了解基于 Hadoop 的分布式并行程序是如何编写和运行的。

单机(非分布式)模式

这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。

代码清单1

Java代码

$ cd /cygdrive/c/hadoop-0.16.0
$ mkdir test-in
$ cd test-in
#在 test-in 目录下创建两个文本文件, WordCount 程序将统计其中各个单词出现次数
$ echo "hello world bye world" >file1.txt
$ echo "hello hadoop goodbye hadoop" >file2.txt
$ cd ..
$ bin/hadoop jar hadoop-0.16.0-examples.jar wordcount test-in test-out
#执行完毕，下面查看执行结果：
$ cd test-out
$ cat part-00000
bye 1
goodbye 1
hadoop 2
hello 2
world 2

$ cd /cygdrive/c/hadoop-0.16.0
$ mkdir test-in
$ cd test-in
#在 test-in 目录下创建两个文本文件, WordCount 程序将统计其中各个单词出现次数
$ echo "hello world bye world" >file1.txt
$ echo "hello hadoop goodbye hadoop" >file2.txt
$ cd ..
$ bin/hadoop jar hadoop-0.16.0-examples.jar wordcount test-in test-out
#执行完毕，下面查看执行结果：
$ cd test-out
$ cat part-00000
bye     1
goodbye  1
hadoop  2
hello    2
world   2

注意事项：运行 bin/hadoop jar hadoop-0.16.0-examples.jar wordcount test-in test-out 时，务必注意第一个参数是 jar, 不是 -jar, 当你用 -jar 时，不会告诉你是参数错了，报告出来的错误信息是：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/util/ProgramDriver, 笔者当时以为是 classpath 的设置问题，浪费了不少时间。通过分析 bin/hadoop 脚本可知，-jar 并不是 bin/hadoop 脚本定义的参数，此脚本会把 -jar 作为 Java 的参数，Java 的-jar 参数表示执行一个 Jar 文件(这个 Jar 文件必须是一个可执行的 Jar,即在 MANIFEST 中定义了主类), 此时外部定义的 classpath 是不起作用的，因而会抛出 java.lang.NoClassDefFoundError 异常。而 jar 是 bin/hadoop 脚本定义的参数，会调用 Hadoop 自己的一个工具类 RunJar，这个工具类也能够执行一个 Jar 文件，并且外部定义的 classpath 有效。

伪分布式运行模式

这种模式也是在一台单机上运行，但用不同的 Java 进程模仿分布式运行中的各类结点 ( NameNode, DataNode, JobTracker, TaskTracker, Secondary NameNode )，请注意分布式运行中的这几个结点的区别：

从分布式存储的角度来说，集群中的结点由一个 NameNode 和若干个 DataNode 组成, 另有一个 Secondary NameNode 作为 NameNode 的备份。从分布式应用的角度来说，集群中的结点由一个 JobTracker 和若干个 TaskTracker 组成，JobTracker 负责任务的调度，TaskTracker 负责并行执行任务。TaskTracker 必须运行在 DataNode 上，这样便于数据的本地计算。JobTracker 和 NameNode 则无须在同一台机器上。

(1) 按代码清单2修改 conf/hadoop-site.xml。注意 conf/hadoop-default.xml 中是 Hadoop 缺省的参数，你可以通过读此文件了解 Hadoop 中有哪些参数可供配置，但不要修改此文件。可通过修改 conf/hadoop-site.xml 改变缺省参数值，此文件中设置的参数值会覆盖 conf/hadoop-default.xml 的同名参数。

代码清单 2

Java代码

fs.default.name
localhost:9000
mapred.job.tracker
localhost:9001
dfs.replication
1



fs.default.name
localhost:9000


mapred.job.tracker
localhost:9001


dfs.replication
1

参数 fs.default.name 指定 NameNode 的 IP 地址和端口号。缺省值是 file:///, 表示使用本地文件系统, 用于单机非分布式模式。此处我们指定使用运行于本机 localhost 上的 NameNode。

参数 mapred.job.tracker 指定 JobTracker 的 IP 地址和端口号。缺省值是 local, 表示在本地同一 Java 进程内执行 JobTracker 和 TaskTracker, 用于单机非分布式模式。此处我们指定使用运行于本机 localhost 上的 JobTracker ( 用一个单独的 Java 进程做 JobTracker )。

参数 dfs.replication 指定 HDFS 中每个 Block 被复制的次数，起数据冗余备份的作用。在典型的生产系统中，这个数常常设置为3。

(2)配置 SSH,如代码清单3所示:

代码清单 3

Java代码

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

配置完后，执行一下 ssh localhost, 确认你的机器可以用 SSH 连接，并且连接时不需要手工输入密码。

(3)格式化一个新的分布式文件系统, 如代码清单4所示:

代码清单 4

Java代码

$ cd /cygdrive/c/hadoop-0.16.0
$ bin/hadoop namenode –format

$ cd /cygdrive/c/hadoop-0.16.0
$ bin/hadoop namenode –format

(4) 启动 hadoop 进程, 如代码清单5所示。控制台上的输出信息应该显示启动了 namenode, datanode, secondary namenode, jobtracker, tasktracker。启动完成之后，通过 ps –ef 应该可以看到启动了5个新的 java 进程。

代码清单 5

Java代码

$ bin/start-all.sh
$ ps –ef

$ bin/start-all.sh
$ ps –ef

(5) 运行 wordcount 应用, 如代码清单6所示:

代码清单 6

Java代码

$ bin/hadoop dfs -put ./test-in input
#将本地文件系统上的 ./test-in 目录拷到 HDFS 的根目录上，目录名改为 input
#执行 bin/hadoop dfs –help 可以学习各种 HDFS 命令的使用。
$ bin/hadoop jar hadoop-0.16.0-examples.jar wordcount input output
#查看执行结果:
#将文件从 HDFS 拷到本地文件系统中再查看：
$ bin/hadoop dfs -get output output
$ cat output/*
#也可以直接查看
$ bin/hadoop dfs -cat output/*
$ bin/stop-all.sh #停止 hadoop 进程

$ bin/hadoop dfs -put ./test-in input
#将本地文件系统上的 ./test-in 目录拷到 HDFS 的根目录上，目录名改为 input
#执行 bin/hadoop dfs –help 可以学习各种 HDFS 命令的使用。
$ bin/hadoop jar hadoop-0.16.0-examples.jar wordcount input output
#查看执行结果:
#将文件从 HDFS 拷到本地文件系统中再查看：
$ bin/hadoop dfs -get output output
$ cat output/*
#也可以直接查看
$ bin/hadoop dfs -cat output/*
$ bin/stop-all.sh #停止 hadoop 进程

故障诊断

(1) 执行 $ bin/start-all.sh 启动 Hadoop 进程后，会启动5个 java 进程, 同时会在 /tmp 目录下创建五个 pid 文件记录这些进程 ID 号。通过这五个文件，可以得知 namenode, datanode, secondary namenode, jobtracker, tasktracker 分别对应于哪一个 Java 进程。当你觉得 Hadoop 工作不正常时，可以首先查看这5个 java 进程是否在正常运行。

(2) 使用 web 接口。访问 http://localhost:50030 可以查看 JobTracker 的运行状态。访问 http://localhost:50060 可以查看 TaskTracker 的运行状态。访问 http://localhost:50070 可以查看 NameNode 以及整个分布式文件系统的状态，浏览分布式文件系统中的文件以及 log 等。

(3) 查看 ${HADOOP_HOME}/logs 目录下的 log 文件，namenode, datanode, secondary namenode, jobtracker, tasktracker 各有一个对应的 log 文件，每一次运行的计算任务也有对应用 log 文件。分析这些 log 文件有助于找到故障原因。

结束语

现在，你已经了解了 MapReduce 计算模型，分布式文件系统 HDFS，分布式并行计算等的基本原理, 并且有了一个可以运行的 Hadoop 环境，运行了一个基于 Hadoop 的并行程序。

何克勤 2010-08-06 09:42 发表评论

OOP遵照：Liskov替换原则--LSP

何克勤 — Tue, 13 Apr 2010 06:00:00 GMT

何克勤 2010-04-13 14:00 发表评论

轻松学习两台笔记本无线互联转

何克勤 — Thu, 07 Jan 2010 08:05:00 GMT

无线双机互连配置

我们在一台机子的网上邻居，右键点击选择“属性”如下图。

1）选中要来设置的无线网卡的连接“网络连接”窗口，右击打算用来共享的无线网卡并且选择“属性”，会弹出以下的窗口。

设置笔记本电脑（也可能是台式机）的无线网卡TCP/IP属性。在无线网络连接项属性对话框的 “常规”选项卡中设置IP地址。两台机子设置成同网段的，例如：“192.168.1.X”（X是代表一个数值，从0到255，都可以），子网掩码设置为255.255.255.0。

2）选择“无线网络配置”选项卡。选择“用Windows配置我的无线网络设置”复选项，以激活下面的其他配置选项。

3）如果要添加新的无线网络，可单击“添加”按钮，在打开的如下图所示对话框中进行。在下方选择“添加”按钮，会弹出下图的窗口，在服务名(SSID)中填写你喜欢的名称，注意不能用中文，其他电脑在寻找这个点对点连接的时候就会看到这个名字，我们在此写grfwgr。然后在打开的页面里进行相关设置。

首先要配置的是无线网络SSID，一定要与对应的无线网卡所配置的SSID一致。然后在下面的“无线网络密钥”项下配置与对应无线网卡相同的安全选项。并要选择“这是一个计算机到计算机（特定的）网络；没有使用无线访问点（C）”复选项。

4）如果想要配置IEEE 802.1x身份验证，则单击如（第2步）所示对话框中的“验证”选项卡，如下图所示。

在其中就可以选择两种IEEE 802.1x身份验证方法。当然如果选择的是“智能卡或其它证书”选项，则一定安装了智能卡或计算机证书，通常不用配置IEEE 802.1x身份验证。

5）在“连接”选项卡中仅配置是否允许计算机当所配置的无线网络在有效区域中即自动连接，非常简单，不作详细介绍。配置好后单击“确定”按钮返回到如（第1步）所示对话框。

6）在（第1步）所示对话框中单击“高级”按钮，打开如下图所示对话框。

在此对话框中要指定客户端所连接的无线网络类型，将“任何可用的网络”更改为“仅计算机到计算机”，并关闭“自动连接到非首选的网络”选项。完成后单击“确定”按钮返回到如（第1步）所示对话框。

7）在另一台笔记本电脑上，再次用鼠标右键单击任务栏右侧的无线网络连接状态指示图标，这时可以发现在弹出的“连接到无线网络”对话框中已经有了一个另一台我们设置的标志，本文里为“grfwgz”的可用无线网络，选中它并在“允许我连接到选择的无线网络，即使它是不安全的”选项前打上“√”，然后点击“连接”按钮。

这时，如果把鼠标指针指向任务栏上的无线网络连接状态指示图标，可以看到两台笔记本电脑无线连接的有关情况，如速度、信号强度等。

8）为了使用方便，把两台笔记本电脑设置成同一工作组。打开网上邻居，两台笔记本电脑均可看到包括对方在内的两台机器的图标。把需要交换数据的硬盘或文件夹设成共享之后，两台笔记本电脑就可以交换资料了。

注：如果是Windows XP之前的操作系统，还需要将两个无线网络适配器的通道设置统一。Windows 2000就需要在网络适配器的属性里面修改channel的值。

其实也可以在无线网卡连接属性配置对话框中的“高级”选项卡中选择“自动连接非首选网络”复选框。这样笔记本会自动搜索可用网络进行连接。

两台机器都有无线网卡话，直接启用无线网卡的对接模式（只限两台）就可以了,这种方式不用路由器的，一般的无线网卡都有这种功能。
对接成功后，就是标准的局域网，所有的功能都可用，更别说简单的玩游戏了.方法如下
1在两台机器的无线网络连接上单击右键，开启它的属性窗口，双击TCP/IP协议。
2. 输入第一台电脑的IP地址192.168.0.1和子网掩码255.255.255.0。同理另外一台设置为192.168.0.2、255.255.255.0，网关和DNS参数不填。
3. 切换到“无线网络配置”标签，单击“高级”按钮，在“高级”窗口选择“仅计算机到计算机（特定）”选项，单击“关闭”按钮返回上一个窗口。
4. 在第一台电脑的“无线网络配置”标签中单击“添加”按钮添加一个可用网络，输入服务名（SSID），这个名称与在“网上邻居”中的工作组名称一样可让其他电脑检测到，其他参数用默认的即可。完成此操作后确认关闭所有窗口。
5. 在第二台“网络连接”窗口选择无线网络连接，单击右键执行“查看可用的无线连接”功能，Windows便可检测到第一台电脑创建的无线网络,加入即可。

何克勤 2010-01-07 16:05 发表评论

大端法、小端法、网络字节序转

何克勤 — Thu, 31 Dec 2009 13:33:00 GMT

关于字节序(大端法、小端法)的定义

《UNXI网络编程》定义：术语“小端”和“大端”表示多字节值的哪一端(小端或大端)存储在该值的起始地址。小端存在起始地址，即是小端字节序；大端存在起始地址，即是大端字节序。

也可以说：
1.小端法(Little-Endian)就是低位字节排放在内存的低地址端即该值的起始地址，高位字节排放在内存的高地址端。
2.大端法(Big-Endian)就是高位字节排放在内存的低地址端即该值的起始地址，低位字节排放在内存的高地址端。

举个简单的例子，对于整形0x12345678。它在大端法和小端法的系统内中，分别如图1所示的方式存放。

网络字节序

我们知道网络上的数据流是字节流，对于一个多字节数值，在进行网络传输的时候，先传递哪个字节？也就是说，当接收端收到第一个字节的时候，它是将这个字节作为高位还是低位来处理呢？
网络字节序定义：收到的第一个字节被当作高位看待，这就要求发送端发送的第一个字节应当是高位。而在发送端发送数据时，发送的第一个字节是该数字在内存中起始地址对应的字节。可见多字节数值在发送前，在内存中数值应该以大端法存放。
网络字节序说是大端字节序。
比如我们经过网络发送0x12345678这个整形，在80X86平台中，它是以小端法存放的，在发送前需要使用系统提供的htonl将其转换成大端法存放，如图2所示。

字节序测试程序

不同cpu平台上字节序通常也不一样，下面写个简单的C程序，它可以测试不同平台上的字节序。

    
            1  
            #include <stdio.h>
        
            2  
            #include <netinet/in.h>
        
            3  
            int main()
        
            4  
            {
        
            5  
                int i_num = 0x12345678;
        
            6  
                printf("[0]:0x%x\n", *((char *)&i_num + 0));
        
            7  
                printf("[1]:0x%x\n", *((char *)&i_num + 1));
        
            8  
                printf("[2]:0x%x\n", *((char *)&i_num + 2));
        
            9  
                printf("[3]:0x%x\n", *((char *)&i_num + 3));
        
            10  
             
            11  
                i_num = htonl(i_num);
        
            12  
                printf("[0]:0x%x\n", *((char *)&i_num + 0));
        
            13  
                printf("[1]:0x%x\n", *((char *)&i_num + 1));
        
            14  
                printf("[2]:0x%x\n", *((char *)&i_num + 2));
        
            15  
                printf("[3]:0x%x\n", *((char *)&i_num + 3));
        
            16  
             
            17  
                return 0;
        
            18  
            }

在80X86CPU平台上，执行该程序得到如下结果：
[0]:0x78
[1]:0x56
[2]:0x34
[3]:0x12

[0]:0x12
[1]:0x34
[2]:0x56
[3]:0x78

分析结果，在80X86平台上，系统将多字节中的低位存储在变量起始地址，使用小端法。htonl将i_num转换成网络字节序，可见网络字节序是大端法。

总结点：80X86使用小端法，网络字节序使用大端法。

何克勤 2009-12-31 21:33 发表评论

如何编写单元测试用例（白盒测试）

何克勤 — Sat, 05 Dec 2009 04:50:00 GMT

转

一、单元测试的概念
        单元通俗的说就是指一个实现简单功能的函数。单元测试就是只用一组特定的输入(测试用例)测试函数是否功能正常，并且返回了正确的输出。
        测试的覆盖种类
        1.语句覆盖：语句覆盖就是设计若干个测试用例，运行被测试程序，使得每一条可执行语句至少执行一次。
        2.判定覆盖（也叫分支覆盖）：设计若干个测试用例，运行所测程序，使程序中每个判断的取真分支和取假分支至少执行一次。
        3.条件覆盖：设计足够的测试用例，运行所测程序，使程序中每个判断的每个条件的每个可能取值至少执行一次。
        4.判定——条件覆盖：设计足够的测试用例，运行所测程序，使程序中每个判断的每个条件的每个可能取值至少执行一次，并且每个可能的判断结果也至少执行一次。
        5.条件组合测试：设计足够的测试用例，运行所测程序，使程序中每个判断的所有条件取值组合至少执行一次。
        6.路径测试：设计足够的测试用例，运行所测程序，要覆盖程序中所有可能的路径。
        用例的设计方案主要的有下面几种：条件测试，基本路径测试，循环测试。通过上面的方法可以实现测试用例对程序的逻辑覆盖，和路径覆盖。
二、开始测试前的准备
        在开始测试时，要先声明一下，无论你设计多少测试用例，无论你的测试方案多么完美，都不可能完全100%的发现所有BUG，我们所需要做的是用最少的资源，做最多测试检查，寻找一个平衡点保证程序的正确性。穷举测试是不可能的。   所以现在进行单元测试我选用的是现在一般用的比较多的基本路径测试法。
三、开始测试
       基本路径测试法：设计出的测试用例要保证每一个基本独立路径至少要执行一次。
        函数说明：当i_flag=0；返回     i_count+100
                                当i_flag=1；返回   i_count *10
                                否则返回   i_count *20
        输入参数：int i_count ，
                            int i_flag
        输出参数： int i_return;
        代码：

1 int Test(int i_count, int i_flag)
2         {
3 int i_temp = 0;
4 while (i_count>0)
5             {
6 if (0 == i_flag)
7                 {
8                     i_temp = i_count + 100;
9 break;
10                 }
11 else
12                 {
13 if (1 == i_flag)
14                     {
15                         i_temp = i_temp + 10;
16                     }
17 else
18                     {
19                         i_temp = i_temp + 20;
20                     }
21                 }
22                 i_count--;
23             }
24 return i_temp;
25         }

        1.画出程序控制流程图
    图例：

事例程序流程图：

            圈中的数字代表的是语句的行号，也许有人问为什么选4,6,13,8......作为结点，第2行，第3行为什么不是结点，因为选择结点是有规律的。让我们看程序中；第2行，第3行是按顺序执行下来的。直到第4行才出现了循环操作。而2，3行没有什么判断，选择等分支操作，所以我们把2，3，4全部合并成一个结点。其他的也是照这个规则合并，然后就有了上面的流程图。

            2.计算圈复杂度
            有了图以后我们要知道到底我们有写多少个测试用例，才能满足基本路径测试。
            这里有有了一个新概念——圈复杂度
            圈复杂度是一种为程序逻辑复杂性提供定量测试的软件度量。将该度量用于计算程序的基本独立路径数目。为确保所有语句至少执行一次的测试数量的上界。
            公式圈复杂度V（G）=E-N+2，E是流图中边的数量，N是流图中结点的数量。
            公式圈复杂度V（G）=P+1 ，P是流图G中判定结点的数量。
            通俗的说圈负责度就是判断单元是不是复杂，是不是好测试的标准。一般来说如果圈复杂度如果大于20就表示这个单元的可测试性不好，太复杂（也许有人觉得无所谓，但是如果你们公司实行了CMMI5的话，对这个是有规定的）。
            从图中我们可以看到，
            V（G）=10条边-8结点+2=4
            V（G）=3个判定结点+1=4
            上图的圈复杂图是4。这个结果对我们来说有什么意义呢？它表示我们只要最多4个测试用例就可以达到基本路径覆盖。
            3.导出程序基本路径。
            现在我们知道了起码要写4个测试用例，但是怎么设计这4个测试用例？
            导出程序基本路径，根据程序基本路径设计测试用例子。
             程序基本路径：基本独立路径就是从程序的开始结点到结束可以选择任何的路径遍历，但是每条路径至少应该包含一条已定义路径不曾用到的边。（看起来不好理解，让我们看例子）。
             让我们看上面的流程图：从结点4到24有几条路径呢？
             1 B（4，24）
             2 C，E，J（4，6，8，24）
             3 C，D，F，H，A，B（4，6，13，15，22，4，24）
             4 C，D，G，I，A，B（4，6，13，19，22，4，24）
             还有吗？？
             5 C，D，C，I，A，C，E，J（4，6，13，19，22，4，6，8，24）算吗？
            不算，为什么？因为上面的4条路径已经包括了所有的边。第5条路径已经不包含没有用过的边了。所有的路径都遍历过了。
            好了，现在我们有了4条基本独立路径根据独立路径我们可以设计测试用例。
            1 B（4，24）
            输入数据：i_flag=0，或者是i_flag<0的某一个值。
            预期结果：i_temp=0.
             2 C，E，J（4，6，8，24）
            输入数据： i_count =1;i_flag=0
            预期结果：i_temp=101.
             3 C，D，F，H，A，B（4，6，13，15，22，4，24）
            输入数据： i_count =1;i_flag=1
            预期结果：i_temp=10.
             4 C，D，G，I，A，B（4，6，13，19，22，4，24）
             输入数据： i_count =1;i_flag=2
             预期结果：i_temp=20.
这里的输入数据是由路径和程序推论出来的。而要注意的是预期结果是从函数说明中导出，不能根据程序结构中导出。
为什么这么说？
            让我们看程序中的第3行。
            int i_temp=0;假如开发人员一不小心写错了，变成了int i_temp=1;根据程序导出的预期结果就会是一个错误的值，但是单元测试不出来问题。
            那单元测试就失去了意义。
            有人也许会问这么简单的函数就有4个测试用例，如果还复杂一些的怎么办？上面的测试用例还可以简化吗？答案是可以。
            我们来看路径    1 B（4，24）和   4 C，D，G，I，A，B（4，6，13，19，22，4，24），路径1是路径4的真子集，     所以1是可以不必要的。上图的圈复杂度是4。这个结果对我们来说有什么意义呢？它表示我们只要最多4个测试用例就可以达到基本路径覆盖。所以说圈复杂度标示是最多的测试用例个数，不是一定要4个测试用例才可以。不过有一点要申明的是测试用例越简化代表你的测试越少，这样程序的安全性就越低了。
四、完成测试
            接下来根据测试用例使用工具测试NUNIT，VS2005都可以。
            接下来根据测试结果编写测试报告，测试人，时间，结果，用例，是否通过，格式网上一大把，每个公司的格式也不一样就不说了。（来自cnblogs）

本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/Joe_wang/archive/2009/11/23/4857371.aspx

何克勤 2009-12-05 12:50 发表评论

ORM技术概念与实例

何克勤 — Thu, 23 Apr 2009 07:02:00 GMT

对象关系映射（Object Relational Mapping，简称ORM）是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。简单的说，ORM是通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。本质上就是将数据从一种形式转换到另外一种形式。这也同时暗示者额外的执行开销；然而，如果ORM作为一种中间件实现，则会有很多机会做优化，而这些在手写的持久层并不存在。更重要的是用于控制转换的元数据需要提供和管理；但是同样，这些花费要比维护手写的方案要少.

对象-关系映射（Object/Relation Mapping，简称ORM），是随着面向对象的软件开发方法发展而产生的,面向对象的开发方法是当今企业级应用开发环境中的主流开发方法，关系数据库是企业级应用环境中永久存放数据的主流数据存储系统。对象和关系数据是业务实体的两种表现形式，业务实体在内存中表现为对象，在数据库中表现为关系数据。内存中的对象之间存在关联和继承关系，而在数据库中，关系数据无法直接表达多对多关联和继承关系。因此，对象-关系映射(ORM)系统一般以中间件的形式存在，主要实现程序对象到关系数据库数据的映射。

面向对象是从软件工程基本原则(如耦合、聚合、封装)的基础上发展起来的，而关系数据库则是从数学理论发展而来的，两套理论存在显著的区别。为了解决这个不匹配的现象,对象关系映射技术应运而生。

让我们从O/R开始。字母O起源于"对象"(Object),而R则来自于"关系"(Relational)。几乎所有的程序里面，都存在对象和关系数据库。在业务逻辑层和用户界面层中，我们是面向对象的。当对象信息发生变化的时候，我们需要把对象的信息保存在关系数据库中。

当你开发一个应用程序的时候(不使用O/R Mapping),你可能会写不少数据访问层的代码，用来从数据库保存，删除，读取对象信息，等等。你在DAL中写了很多的方法来读取对象数据，改变状态对象等等任务。而这些代码写起来总是重复的。

　　如果打开你最近的程序，看看DAL代码，你肯定会看到很多近似的通用的模式。我们以保存对象的方法为例，你传入一个对象，为SqlCommand对象添加SqlParameter，把所有属性和对象对应，设置SqlCommand的CommandText属性为存储过程，然后运行SqlCommand。对于每个对象都要重复的写这些代码。

　　除此之外，还有更好的办法吗？有，引入一个O/R Mapping。实质上，一个O/R Mapping会为你生成DAL。与其自己写DAL代码，不如用O/R Mapping。你用O/R Mapping保存，删除，读取对象，O/R Mapping负责生成SQL，你只需要关心对象就好。

一般的ORM包括以下四部分：

u 一个对持久类对象进行CRUD操作的API；

u 一个语言或API用来规定与类和类属性相关的查询；

u 一个规定mapping metadata的工具；

u 一种技术可以让ORM的实现同事务对象一起进行dirty checking, lazy association fetching以及其他的优化操作。

事例

极致业务基础平台采用ORM技术实现数据的持久化,并提供了完整的实体定义工具,元数据管理机制,自动生成关系数据库表结构.

平台下载地址:

http://www.jeez.com.cn/jbf

何克勤 2009-04-23 15:02 发表评论

使用OpenVPN实现网通、电信机房间快速、安全通信

何克勤 — Thu, 23 Apr 2009 04:38:00 GMT

转

上半年为公司的南北互通工程研究实现的方式，最后决定使用openvpn来实现多个机房直接的互通。当时写了一份很详细的文档，现在终于有时间发出来了。这份文档是完全根据openvpn官方网站上的文档以及我的实际配置写成。

目录：
1 现状
2 网络结构
3 服务器信息以及网络安全
3.1 服务器信息
3.2 网络安全
4 使用openvpn实现南北互通
4.1 Openvpn简介
4.2 下载
4.3 安装
4.4 你的操作系统支持tun吗？
4.5 配置C/S结构的VPN网络
4.5.1 如何生成ca和cert/key?
4.5.1.1 产生MASTER Certificate Authority(CA) 的公钥(certificate)和私钥(key)
4.5.1.2 创建server端的cert和key文件
4.5.1.3 创建3个client端cert和key文件
4.5.1.4 建立 Diffie Hellman文件
4.5.1.5 所有文件的列表及使用的主机
4.5.2 OpenVPN Server端的配置
4.5.3 OpenVPN Client端的配置
4.5.4 运行OpenVPN
5 其它配置
5.1 让多个client的子网间互通
5.2 控制运行中的openvpn进程
5.3 windows下的配置：
6 实际应用情况
7 参考文档

1 现状
假设现在的某公司的服务器存放在广州、河北、杭州三个机房中，每个机房使用不用的子网：
机房子网（内部）
广州 10.1.0.0/16
河北 10.2.0.0/16
杭州 10.3.0.0/16

各机房使用不同的网段，为使用vpn连接创造了有利条件。

由于电信至网通间的网络速度是否缓慢，对广州与河北机房间的数据同步带来非常大的困难。我们找到一台即连接了网通的线路，又连接了电信线路的服务器，但却不能直接用其作为路由。如果使用porxy的方式或转发的方式又会降低同步的效率。
采用C/S结构的vpn方式，即解决了同步的问题，又不会影响同步的效率。

2 网络结构
下图是三个机房实现互连互通后的拓扑图：

从上图可以看到，该VPN系统是一个C/S的结构。中间为VPN SERVER；广州、河北、杭州三个机房各取出一台服务器作为VPN CLIENT。

VPN SERVER拥有两块网卡和两条线路（电信和网通），两个网卡均需要设置公网IP。根据实际的情况设置路由，这里我是设置电信的线路为默认路由，设置到河北机房网段的走网通的路由。

VPN CLIENT可以有两块网卡也可以只用一块网卡，如果是电信的线路则连接vpn server的电信的IP；如果是网通的线路则连接网通的vpn server 的网通方面的IP。

3 服务器信息以及网络安全
3.1 服务器信息
在本文中我们使用了4台服务器分别作为vpn server和client。由于使用vpn传输数据对服务器的负载不大，所以除了vpn server需要一台新的服务器外，各机房的client服务器只需要找一台负载轻的服务器来担当即可。

本文使用的四台服务器的详细信息：
机房 Vpn 模式操作系统服务器IP
Vpn server RedHat 9.0 公网IP1 (网通) /公网IP2(电信)
广州机房 Vpn client FreeBSD4.9 10.1.0.1
河北机房 Vpn client RedHat9.0 10.2.0.1
杭州机房 Vpn client FreeBsd4.9 10.3.0.1

3.2 网络安全
除vpn server外，其它的机房中的vpn client均无需公网IP，所以vpn server需要加强安全方面的设置。
该服务器是RedHat9.0的操作系统，登陆界面使用的是grub，并设置的grub密码，保证物理上的安全。
使用Iptables设置包过滤防火墙，只允许你的服务器对其进行访问：
iptables –F
iptables -A INPUT -s 10.0.0.0/8 -j ACCEPT
iptables -A INPUT -s YOURNETWORK -j ACCEPT
iptables -A INPUT -p udp --dport 1194 –j DROP

4 使用openvpn实现南北互通
4.1 Openvpn简介
OpenVPN 是一个强大、高度可配置、基于ssl的 VPN （Virtual Private Network）Open Source 软件。它具有多种的验证方式以及许多强大的功能。

OpenVPN工作在OSI模型的第2或第3层，使用SSL/TLS协议进行网络传输。支持多种客户认证方法，如证书、smart cards，加上用户名密码的证书认证等。除此以外，还有强大的ACL功能限制客户的信息交换。

OpenVPN可以运行在多种操作系统中，包括：
Linux, Windows 2000/XP and higher, OpenBSD, FreeBSD, NetBSD, Mac OS X, and Solaris.

使用OpenVpn，可以实现:
● 使用特定udp或tcp端口实现两台主机的之间的vpn连接。
● 实现C/S结构，实现多台client通过server服务器互连互通。
● 通过TLS/SSL加密保证数据传输的安全。
● 通过数据的压缩，提高数据传输的速度。

（由于其它功能在本文中并不需要使用，如想要详细了解请访问http://openvpn.net）

4.2 下载

从以下网址下载最新版本的openvpn source包。
http://nchc.dl.sourceforge.net/sourceforge/openvpn/openvpn-2.0_rc16.tar.gz

由于openvpn需要使用数据压缩，所以还需要安装lzo包：
http://www.oberhumer.com/opensource/lzo/download/lzo-1.08.tar.gz

4.3 安装
Linux：

软件编译安装
Lzo ./configure && Make && make install

Openvpn ./configure -prefix=/opt/openvpn&&Make && make install

FreeBSD：

Lzo ./configure &&Make && make install

Openvpn ./configure -prefix=/opt/openvpn --with-lzo－headers=/usr/local/include --with-lzo-headers=/usr/local/include&& Make && make install

参照上面的安装方法分别在linux和freebsd主机上安装好openvpn。

4.4 你的操作系统支持tun吗？
从我安装过的操作系统看，RedHat9.0和FreeBSD4.9的内核默认已经支持TUN，并且已经安装tun模块。RedHat AS3则没有该模块，需要重新编译内核支持。

加载tun模块：
●Linux 2.4 or higher (with integrated TUN/TAP driver):
(1) make device node: mknod /dev/net/tun c 10 200
(2a) add to /etc/modules.conf: alias char-major-10-200 tun
(2b) load driver: modprobe tun
(3) enable routing: echo 1 >; /proc/sys/net/ipv4/ip_forward

●FreeBSD 4.1.1+:
kldload if_tap

4.5 配置C/S结构的VPN网络
4.5.1 如何生成ca和cert/key?

Ca certificate
authority（认证授权），所有的server和client均使用同一个ca文件。
cert certificate（证书）。公钥，每一个server和client各自独立生成的公钥。
key 私钥，每一个server和client工作独立生成的私钥。

◎ server端只需要知道它自己的cert和key。它不需要知道每一个可以连接到它的client的cert。
◎ server端接受的client必须拥有以server的CA产生的cert。server能使用它自己的CA私钥来确认client的cert中是否带有其CA的记号。

4.5.1.1 产生MASTER Certificate Authority(CA) 的公钥(certificate)和私钥(key)
#######
In this section we will generate a master CA certificate/key, a server certificate/key, and certificates/keys for 3 separate clients
#######

在本节，我们会尝试建立一对master CA的cert和key，一对server端的cert和key，和3个不同client的年的cert和keys。

UNIX：
在openvpn的源码中可以找到easy-rsa文件夹。

cd easy-rsa
. ./vars 建立环境变量
./clean-all 清除以前的
./build-ca 建立CA

最后一个命令会调用openssl来创建CA的公钥和私钥:

Country Name (2 letter code) [KG]:
State or Province Name (full name) [NA]:
Locality Name (eg, city) [BISHKEK]:
Organization Name (eg, company) [OpenVPN-TEST]:yourcorp 在此输入公司名
Organizational Unit Name (eg, section) []:
Common Name (eg, your name or your server's hostname) []:hbroute 在此输入主机名或随便输一个名字
Email Address [me@myhost.mydomain]:

其它的按默认即可。

完成后会在keys目录中创建ca.crt ca.key index.txt serial四个文件。

4.5.1.2 创建server端的cert和key文件

cd easy-rsa
./build-key-server server

Country Name (2 letter code) [KG]:
State or Province Name (full name) [NA]:
Locality Name (eg, city) [BISHKEK]:
Organization Name (eg, company) [OpenVPN-TEST]:yourcorp 输入公司名
Organizational Unit Name (eg, section) []:
Common Name (eg, your name or your server's hostname) []:hbrouteserver 输入主机名或随便一个名字
Email Address [me@myhost.mydomain]:

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:

Sign the certificate? [y/n]:y 输入y

1 out of 1 certificate requests certified, commit? [y/n]y 输入y
Write out database with 1 new entries
Data Base Updated
其它的按回车。

4.5.1.3 创建3个client端cert和key文件
与创建server端的非常相似.

./build-key gz
./build-key hb
./build-key hz

注意gz、hb和hz不能一样，否则两个相同名字的client只能有一个能连接进来。
如果想使用带密码的client key，可以使用build-key-pass脚本。

如建立广州的：

./build-key gz
Country Name (2 letter code) [KG]:
State or Province Name (full name) [NA]:
Locality Name (eg, city) [BISHKEK]:
Organization Name (eg, company) [OpenVPN-TEST]:mycorp
Organizational Unit Name (eg, section) []:
Common Name (eg, your name or your server's hostname) []:gz 键入"gz"
Email Address [me@myhost.mydomain]:

Certificate is to be certified until Mar 14 08:15:16 2015 GMT (3650 days)
Sign the certificate? [y/n]:y 键入“y”

1 out of 1 certificate requests certified, commit? [y/n]y 键入“y”
Write out database with 1 new entries
Data Base Updated

4.5.1.4 建立 Diffie Hellman文件
Diffie Hellman参数必须要在openvpn server中使用。

./build-dh

4.5.1.5 所有文件的列表及使用的主机

Filename Needed By Purpose Secret
ca.crt server + all clients Root CA certificate NO
ca.key key signing machine only Root CA key YES
Dh{n}.pem server only Diffie Hellman parameters NO
server.crt server only Server Certificate NO
server.key server only Server Key YES
gz.crt 广州 only gz Certificate NO
Gz.key 广州 only gz Key YES
hcrt 河北 only hb Certificate NO
hb.key 河北 only hb Key YES
hz.crt 杭州 only hz Certificate NO
hz.key 杭州 only hz Key YES

根据上表，将所有的文件拷贝到需要这些文件的主机上。

4.5.2 OpenVPN Server端的配置
刚安装完openvpn的时候，/opt/openvpn目录下只有sbin和man两个文件夹，为方便起见，我们可以在该目录下建立其它的文件夹。

目录名作用
Sbin 放置openvpn的主程序“openvpn”
Conf 放置配置文件
Ccd 放置各client的独立配置文件
Log 放置server的日志文件
Keys 放置认证文件
Man 放置man文档

配置文件：./conf/server.conf

port 1194
proto udp
dev tun
ca /opt/openvpn/keys/ca.crt
cert /opt/openvpn/keys/server.crt
key /opt/openvpn/keys/server.key
dh /opt/openvpn/keys/dh1024.pem
server 10.99.0.0 255.255.255.0
ifconfig-pool-persist /opt/openvpn/log/ipp.txt
client-config-dir ccd
route 10.1.0.0 255.255.0.0
route 10.2.0.0 255.255.0.0
route 10.3.0 255.255.0.0
push "route 10.10.0 255.255.0.0"
push "route 10.2.0.0 255.255.0.0"
push "route 10.3.0.0 255.255.0.0"
client-to-client
keepalive 10 120
comp-lzo
user nobody
group nobody
persist-key
persist-tun
status /opt/openvpn/log/openvpn-status.log
log /opt/openvpn/log/openvpn.log
verb 6
mute 20
writepid /opt/openvpn/log/server.pid

Client的自定义配置：./ccd/

gz:
iroute 10.1.0.0 255.255.0.0

hz:
iroute 10.3.0.0 255.255.0.0

hb:
iroute 10.2.0.0 255.255.0.0

配置文件解释：

;local a,b,c,d listen的IP
port 1194 listen的端口
proto udp 使用UDP协议
dev tun 使用tunnel的模块

ca ca.crt 公钥（s端和c端使用相同的ca）
cert server.crt server的公钥
key server.key server的私钥（要保管好）（s端和c端使用各自的cert和key）
dh dh1024.pem 产生方法：openssl dhparam -out dh1024.pem 1024

server 10.99.0.0 255.255.255.0 设置为server模式，并指定子网的IP段，server端默认会设为.1的地址。
ifconfig-pool-persist ipp.txt 当vpn断开或重启后，可以利用该文件重新建立相同IP地址的连接。
push "route 10.1.0.0 255.255.0.0" 让client端建立到另一个子网的路由。

client-to-client 让不同的client之间可以互相“看到”。
;max-clients 100 最多的client数量。

keepalive 10 120 每10秒ping一次，如果120秒没有回应则认为对方已经down。

user nobody
group nobody 指定运行openvpn的用户和组。（减少危险）。

persist-key
persist-tun

status openvpn-status.log 每分钟记录一次连接的状态。

log openvpn.log 将log记录到指定文件中

verb 3 设置日志要记录的级别。
0只记录错误信息。
4能记录普通的信息。
5和6在连接出现问题时能帮助调试
9是极端的，所有信息都会显示，甚至连包头等信息都显示（像tcpdump）

mute 20 相同信息的数量，如果连续出现20条相同的信息，将不记录到日志中。

4.5.3 OpenVPN Client端的配置

目录名作用
Sbin 放置openvpn的主程序“openvpn”
Conf 放置配置文件
Keys 放置认证文件
Man 放置man文档

配置文件：./conf/client.conf
广州：
Client
dev tun
proto udp
remote VPNSERVERIP11194
resolv-retry infinite
nobind
user nobody
group nobody
persist-key
persist-tun
ca /opt/openvpn/keys/ca.crt
cert /opt/openvpn/keys/gz.crt
key /opt/openvpn/keys/gz.key
comp-lzo
verb 3
mute 20

杭州：
client
dev tun
proto udp
remote VPNSERVERIP1 1194
resolv-retry infinite
nobind
user nobody
group nobody
persist-key
persist-tun
ca /opt/openvpn/keys/ca.crt
cert /opt/openvpn/keys/hz.crt
key /opt/openvpn/keys/hz.key
comp-lzo
verb 3
mute 20

河北：
client
dev tun
proto udp
remote VPNSERVERIP2 1194
resolv-retry infinite
nobind
user nobody
group nobody
persist-key
persist-tun
ca /opt/openvpn/keys/ca.crt
cert /opt/openvpn/keys/hb.crt
key /opt/openvpn/keys/hb.key
comp-lzo
verb 3
mute 20

4.5.4 运行OpenVPN
建立脚本：
Server端：
#!/bin/sh
OPENVPN=/opt/openvpn/sbin/openvpn
CFG=/opt/openvpn/conf/server.conf
PID=`cat /opt/openvpn/log/server.pid`
case "$1" in
start)
$OPENVPN --config $CFG &
;;
stop)
kill $PID
;;
restart)
kill $PID
sleep 5
$OPENVPN --config $CFG &
;;
*)
echo "Usage: `basename $0` {start|stop|restart}"
;;
esac

Client端:
#!/bin/sh
/opt/openvpn/sbin/openvpn --config /opt/openvpn/conf/client.conf &

5 其它配置
5.1 让多个client的子网间互通
●client-config-dir ccd
添加一个ccd的文件夹，里面的文件名为client的名字（如gz，hb）。当一个新client连接到server上时，程序会检查ccd文件夹，看是否有一个文件的名字与client的名字一致。如果有，进程会读该文件里面的指令并将这些指令应用于该名字的client。

●在ccd文件夹中创建一个文件hz，该文件中包括：
iroute 10.3.0.0 255.255.0.0 这会告诉hz client，不要在本机添加10.3.0.0网段（因为杭州本来就是10.23/16网段）。

●在server的配置文件中加入：
route 10.3.0.0 255.255.0.0

如果想两个client可以互通，请在server的配置文件中加入：
client-to-client
push "route 10.3.0.0 255.255.0.0"

记得在各子网内的机器上设置路由（如果server和client机器不是作为默认网关的话）。

5.2 控制运行中的openvpn进程
在配置文件中加入writepid参数指定pid文件。
SIGUSR1--以非root的身份重启openvpn进程。
SIGHUP--重启
SIGUSR2--输出连接统计到log文件
SIGTERM,SIGINT--exit。

5.3 windows下的配置：
windows版本的openvpn下载地址：
http://nchc.dl.sourceforge.net/sourceforge/openvpn/openvpn-2.0_rc17-install.exe

安装方法很简单，和其它windows下的软件无异。
我安装到c:\program file\openvpn下。
在config中建立配置文件win.ovpn
Client
dev tun
proto udp
remote VPNSERVER1 1194
resolv-retry infinite
nobind
persist-key
persist-tun
ca ../keys/ca.crt
cert ../keys/win.crt
key ../keys/win.key
comp-lzo
verb 3
mute 20

从server中生成ca.crt ,win.crt,win.key文件并拷贝到windows上。生成文件的方法请参考章节5.5.1.3。
在命令行运行：
openvpn --config win.ovpn

如果要将openvpn做成服务，运行：
openvpnsev.exe -install
这样就可以在服务中找到openvpn服务了。
当openvpn作为服务时，会到config文件夹寻找ovpn后缀的配置文件。生成的日志会放在log文件夹中。

6 实际应用情况

从实际应用的情况看，VPN采用的加密的方式并没有影响到数据传输的速度，从流量图中可以看出，流量最大可以达到14Mbits/s（电信的线路只有10Mbits/s）。

7 参考文档
OpenVPN Howto(2.0) http://openvpn.net/howto.html
OpenVPN Install http://openvpn.net/install.html
OpenVPN Install(Win32) http://openvpn.net/INSTALL-win32.html
OpenVPN Man Pages http://openvpn.net/man.html
OpenVPN FAQ http://openvpn.net/faq.html

何克勤 2009-04-23 12:38 发表评论

整数除法(转)

何克勤 — Sun, 12 Apr 2009 08:30:00 GMT

《高效程序的奥秘》(Henry S.Warren,Jr.著)第9章“整数除法”中说：
除法运算是一个复杂的过程，含有除法的算法通常都不很精巧。甚至连如何定义整数除法都是一个值得研究的问题。大多数高级语言和大多数计算指令集将其定义为有理数结果的向零截取。这一定义以及其他两种可能的定义叙述如下：

    --------- ---截取-- ---模--- --地板--

     7 /  3 =  2 余  1   2 余 1   2 余  1

    -7 /  3 = -2 余 -1  -3 余 2  -3 余  2

     7 / -3 = -2 余  1  -2 余 1  -3 余 -2

    -7 / -3 =  2 余 -1   3 余 2   2 余 -1

    --------- --------- -------- --------

对于所有三种可能的定义，关系“被除数＝商×除数＋余数”都成立。在定义“模”(modulus)除法时，要求余数是非负数。在定义“地板”(floor)除法时，要求商是有理数除法的结果的“地板”。对于除数是正的情况，模除法和地板除法等价。很少使用的第四种可能定义是向最接近的整数舍入。
所以，“装配脑袋”所说的“数学上规定”实际上是指“地板”除法。而现有的高级语言(如C、C++、C#、Java、Fortran、Ada、Pascal等)大多数都使用“截取”除法，IBM的PL.8语言使用“模”除法，Knuth的MMIX计算机的除指令使用“地板”除法。

[C#语言规范 7.7.2]中说：(整数)除法将结果舍入到零，并且结果的绝对值是小于两个操作数的商的绝对值的最大可能整数。当两个操作数符号相同时，结果为零或正；当两个操作数符号相反时，结果为零或负。

何克勤 2009-04-12 16:30 发表评论

一个不错的轻量级UML建模工具

何克勤 — Tue, 03 Mar 2009 12:08:00 GMT

用Violet UML 画的类图：

效果还不错，简单易用。

何克勤 2009-03-03 20:08 发表评论

1	#include <stdio.h>
2	#include <netinet/in.h>
3	int main()
4	{
5	int i_num = 0x12345678;
6	printf("[0]:0x%x\n", ((char )&i_num + 0));
7	printf("[1]:0x%x\n", ((char )&i_num + 1));
8	printf("[2]:0x%x\n", ((char )&i_num + 2));
9	printf("[3]:0x%x\n", ((char )&i_num + 3));
10
11	i_num = htonl(i_num);
12	printf("[0]:0x%x\n", ((char )&i_num + 0));
13	printf("[1]:0x%x\n", ((char )&i_num + 1));
14	printf("[2]:0x%x\n", ((char )&i_num + 2));
15	printf("[3]:0x%x\n", ((char )&i_num + 3));
16
17	return 0;
18	}

BlogJava-Tinysun-随笔分类-其他

用 Hadoop 进行分布式并行编程 转

OOP遵照：Liskov替换原则--LSP

轻松学习两台笔记本无线互联 转

大端法、小端法、网络字节序 转

如何编写单元测试用例（白盒测试）

ORM技术概念与实例

使用OpenVPN实现网通、电信机房间快速、安全通信

整数除法(转)

一个不错的轻量级UML建模工具

用 Hadoop 进行分布式并行编程转

轻松学习两台笔记本无线互联转

大端法、小端法、网络字节序转