Comet 服务器是一类逻辑相对简单, 需要高并发连接的服务器. Comet 在网站系统中的应用非常广泛, 可以见这篇日志的介绍: http://www.ideawu.net/blog/archives/737.html.

HTTP 协议处理

要开发一个支持百万并发连接的 Comet 服务器, 我选择 C/C++ 语言, 当然还有其它的选择如 Erlang, Java 等. 对于一个只支持 long-polling Comet 服务器, 首先要具备解析 HTTP 协议的能力, 我选择 libevent 来处理 HTTP 协议.

通道和订阅者管理

服务器在启动的时候, 就预先分配了 100 万个通道对象的空间, 但订阅者对象是按需分配的, 通过内存池方式. 100 万个通道对象和程序的其它数据占用了 24MB 的内存.

Benchmark

启动 icomet 服务器:

./icomet 

服务器监听了 100 个端口, 是为了测试方便, 原因见前一篇文章的分析: 构建C1000K的服务器(1) – 基础.

然后启动 benchmark 客户端:

./tools/benchmark 127.0.0.1 8100 

benchmark 程序每创建十万个连接, 就会暂停, 按回车后继续. 通过 top/ps 查看 icomet 进程的内存占用. 最终, 得出如下数据.

可以看到, 每一个 Comet 连接大约占用了 2.7KB 的内存. 此时, 服务器空闲, 进程占用 CPU 为 0%.

项目的代码在: https://github.com/ideawu/icomet, 欢迎大家试用, 并反馈你的测试数据.

Related posts:

1. HTTP 长连接技术 Comet
2. 构建C1000K的服务器(1) – 基础
3. iComet 的一个应用场景
4. 长连接技术的应用

1.试图运行程序，提示"libc.so.6: version `GLIBC_2.14' not found",原因是系统的glibc版本太低，软件编译时使用了较高版本的glibc引起的：

[ghui@StuOS bin]$ pwd /var/VMdisks/cross/mingw32/bin [ghui@StuOS bin]$ ls lrelease     QtCore4.dll         QtNetwork4.dll      QtSql4.dll     QtXml4.dll moc          QtDeclarative4.dll  QtOpenGL4.dll       QtSvg4.dll     rcc phonon4.dll  QtGui4.dll          QtScript4.dll       QtTest4.dll    uic qmake        QtMultimedia4.dll   QtScriptTools4.dll  QtWebKit4.dll [ghui@StuOS bin]$ ./qmake  ./qmake: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./qmake)  

[ghui@StuOS bin]$ strings /lib64/libc.so.6 |grep GLIBC_ GLIBC_2.2.5 GLIBC_2.2.6 GLIBC_2.3 GLIBC_2.3.2 GLIBC_2.3.3 GLIBC_2.3.4 GLIBC_2.4 GLIBC_2.5 GLIBC_2.6 GLIBC_2.7 GLIBC_2.8 GLIBC_2.9 GLIBC_2.10 GLIBC_2.11 GLIBC_2.12 GLIBC_PRIVATE

[ghui@StuOS bin]$ rpm -qa |grep glibc glibc-static-2.12-1.80.el6_3.6.x86_64 glibc-headers-2.12-1.80.el6_3.6.x86_64 glibc-common-2.12-1.80.el6_3.6.x86_64 glibc-devel-2.12-1.80.el6_3.6.x86_64 glibc-static-2.12-1.80.el6_3.6.i686 glibc-devel-2.12-1.80.el6_3.6.i686 glibc-2.12-1.80.el6_3.6.i686 glibc-2.12-1.80.el6_3.6.x86_64 

3.可以看到最高只支持2.12版本，所以考虑编译解决这个问题：

       b.这里解压到/var/VMdisks/glibc-2.14/

[ghui@StuOS bin]$ cd /var/VMdisks/glibc-2.14/ [ghui@StuOS glibc-2.14]$ pwd /var/VMdisks/glibc-2.14 [ghui@StuOS glibc-2.14]$ ls abilist            config.h.in           intl           README.libm abi-tags           config.log            io             resolv aclocal.m4         config.make.in        libc-abis      resource aout               configure             libidn         rt argp               configure.in          libio          Rules assert             conform               LICENSES       scripts autom4te.cache     CONFORMANCE           locale         setjmp bits               COPYING               localedata     shadow BUGS               COPYING.LIB           login          shlib-versions build              cppflags-iterator.mk  mach           signal CANCEL-FCT-WAIVE   crypt                 Makeconfig     socket CANCEL-FILE-WAIVE  csu                   Makefile       soft-fp catgets            ctype                 Makefile.in    stdio-common ChangeLog          debug                 Makerules      stdlib ChangeLog.1        dirent                malloc         streams ChangeLog.10       dlfcn                 manual         string ChangeLog.11       elf                   math           sunrpc ChangeLog.12       extra-lib.mk          misc           sysdeps ChangeLog.13       extra-modules.mk      NAMESPACE      sysvipc ChangeLog.14       FAQ                   NEWS           termios ChangeLog.15       FAQ.in                nis            test-skeleton.c ChangeLog.16       gmon                  NOTES          time ChangeLog.17       gnulib                nptl           timezone ChangeLog.2        grp                   nptl_db        tls.make.c ChangeLog.3        gshadow               nscd           version.h ChangeLog.4        hesiod                nss            Versions.def ChangeLog.5        hurd                  o-iterator.mk  wcsmbs ChangeLog.6        iconv                 po             wctype ChangeLog.7        iconvdata             posix          WUR-REPORT ChangeLog.8        include               PROJECTS ChangeLog.9        inet                  pwd conf               INSTALL               README  

[ghui@StuOS glibc-2.14]$ mkdir build

[ghui@StuOS glibc-2.14]$ cd build 

[ghui@StuOS build]$ ../configure --prefix=/opt/glibc-2.14 [ghui@StuOS build]$ make -j4  [ghui@StuOS build]$ sudo make install [sudo] password for ghui:   

[ghui@StuOS bin]$ export LD_LIBRARY_PATH=/opt/glibc-2.14/lib:$LD_LIBRARY_PATH 

[ghui@StuOS glibc-2.14]$ cd /var/VMdisks/cross/mingw32/bin/ 

概述

通过执行以下命令，可以在1分钟内对系统资源使用情况有个大致的了解。

• uptime
• dmesg | tail
• vmstat 1
• mpstat -P ALL 1
• pidstat 1
• iostat -xz 1
• free -m
• sar -n DEV 1
• sar -n TCP,ETCP 1
• top

其中一些命令需要安装sysstat包，有一些由procps包提供。这些命令的输出，有助于快速定位性能瓶颈，检查出所有资源（CPU、内存、磁盘IO等）的利用率（utilization）、饱和度（saturation）和错误（error）度量，也就是所谓的USE方法。

下面我们来逐一介绍下这些命令，有关这些命令更多的参数和说明，请参照命令的手册。

uptime

$ uptime 23:51:26 up 21:31,  1 user,  load average: 30.02, 26.43, 19.02 

这个命令可以快速查看机器的负载情况。在Linux系统中，这些数据表示等待CPU资源的进程和阻塞在不可中断IO进程（进程状态为D）的数量。这些数据可以让我们对系统资源使用有一个宏观的了解。

命令的输出分别表示1分钟、5分钟、15分钟的平均负载情况。通过这三个数据，可以了解服务器负载是在趋于紧张还是区域缓解。如果1分钟平均负载很高，而15分钟平均负载很低，说明服务器正在命令高负载情况，需要进一步排查CPU资源都消耗在了哪里。反之，如果15分钟平均负载很高，1分钟平均负载较低，则有可能是CPU资源紧张时刻已经过去。

上面例子中的输出，可以看见最近1分钟的平均负载非常高，且远高于最近15分钟负载，因此我们需要继续排查当前系统中有什么进程消耗了大量的资源。可以通过下文将会介绍的vmstat、mpstat等命令进一步排查。

dmesg | tail

$ dmesg | tail [1880957.563150] perl invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0 [...] [1880957.563400] Out of memory: Kill process 18694 (perl) score 246 or sacrifice child [1880957.563408] Killed process 18694 (perl) total-vm:1972392kB, anon-rss:1953348kB, file-rss:0kB [2320864.954447] TCP: Possible SYN flooding on port 7001. Dropping request.  Check SNMP counters. 

该命令会输出系统日志的最后10行。示例中的输出，可以看见一次内核的oom kill和一次TCP丢包。这些日志可以帮助排查性能问题。千万不要忘了这一步。

vmstat 1

$ vmstat 1 procs ---------memory---------- ---swap-- -----io---- -system-- ------cpu-----  r  b swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st 34  0    0 200889792  73708 591828    0    0     0     5    6   10 96  1  3  0  0 32  0    0 200889920  73708 591860    0    0     0   592 13284 4282 98  1  1  0  0 32  0    0 200890112  73708 591860    0    0     0     0 9501 2154 99  1  0  0  0 32  0    0 200889568  73712 591856    0    0     0    48 11900 2459 99  0  0  0  0 32  0    0 200890208  73712 591860    0    0     0     0 15898 4840 98  1  1  0  0 ^C 

vmstat(8) 命令，每行会输出一些系统核心指标，这些指标可以让我们更详细的了解系统状态。后面跟的参数1，表示每秒输出一次统计信息，表头提示了每一列的含义，这几介绍一些和性能调优相关的列：

• r：等待在CPU资源的进程数。这个数据比平均负载更加能够体现CPU负载情况，数据中不包含等待IO的进程。如果这个数值大于机器CPU核数，那么机器的CPU资源已经饱和。
• free：系统可用内存数（以千字节为单位），如果剩余内存不足，也会导致系统性能问题。下文介绍到的free命令，可以更详细的了解系统内存的使用情况。
• si, so：交换区写入和读取的数量。如果这个数据不为0，说明系统已经在使用交换区（swap），机器物理内存已经不足。
• us, sy, id, wa, st：这些都代表了CPU时间的消耗，它们分别表示用户时间（user）、系统（内核）时间（sys）、空闲时间（idle）、IO等待时间（wait）和被偷走的时间（stolen，一般被其他虚拟机消耗）。

上述这些CPU时间，可以让我们很快了解CPU是否出于繁忙状态。一般情况下，如果用户时间和系统时间相加非常大，CPU出于忙于执行指令。如果IO等待时间很长，那么系统的瓶颈可能在磁盘IO。

示例命令的输出可以看见，大量CPU时间消耗在用户态，也就是用户应用程序消耗了CPU时间。这不一定是性能问题，需要结合r队列，一起分析。

mpstat -P ALL 1

$ mpstat -P ALL 1 Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015  _x86_64_ (32 CPU) 07:38:49 PM  CPU   %usr  %nice   %sys %iowait   %irq  %soft  %steal  %guest  %gnice  %idle 07:38:50 PM  all  98.47   0.00   0.75    0.00   0.00   0.00    0.00    0.00    0.00   0.78 07:38:50 PM    0  96.04   0.00   2.97    0.00   0.00   0.00    0.00    0.00    0.00   0.99 07:38:50 PM    1  97.00   0.00   1.00    0.00   0.00   0.00    0.00    0.00    0.00   2.00 07:38:50 PM    2  98.00   0.00   1.00    0.00   0.00   0.00    0.00    0.00    0.00   1.00 07:38:50 PM    3  96.97   0.00   0.00    0.00   0.00   0.00    0.00    0.00    0.00   3.03 [...] 

该命令可以显示每个CPU的占用情况，如果有一个CPU占用率特别高，那么有可能是一个单线程应用程序引起的。

pidstat 1

$ pidstat 1 Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015    _x86_64_    (32 CPU) 07:41:02 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command 07:41:03 PM     0         9    0.00    0.94    0.00    0.94     1  rcuos/0 07:41:03 PM     0      4214    5.66    5.66    0.00   11.32    15  mesos-slave 07:41:03 PM     0      4354    0.94    0.94    0.00    1.89     8  java 07:41:03 PM     0      6521 1596.23    1.89    0.00 1598.11    27  java 07:41:03 PM     0      6564 1571.70    7.55    0.00 1579.25    28  java 07:41:03 PM 60004     60154    0.94    4.72    0.00    5.66     9  pidstat 07:41:03 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command 07:41:04 PM     0      4214    6.00    2.00    0.00    8.00    15  mesos-slave 07:41:04 PM     0      6521 1590.00    1.00    0.00 1591.00    27  java 07:41:04 PM     0      6564 1573.00   10.00    0.00 1583.00    28  java 07:41:04 PM   108      6718    1.00    0.00    0.00    1.00     0  snmp-pass 07:41:04 PM 60004     60154    1.00    4.00    0.00    5.00     9  pidstat ^C 

pidstat命令输出进程的CPU占用率，该命令会持续输出，并且不会覆盖之前的数据，可以方便观察系统动态。如上的输出，可以看见两个JAVA进程占用了将近1600%的CPU时间，既消耗了大约16个CPU核心的运算资源。

iostat -xz 1

$ iostat -xz 1 Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015  _x86_64_ (32 CPU) avg-cpu:  %user   %nice %system %iowait  %steal   %idle           73.96    0.00    3.73    0.03    0.06   22.21 Device:   rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util xvda        0.00     0.23    0.21    0.18     4.52     2.08    34.37     0.00    9.98   13.80    5.42   2.44   0.09 xvdb        0.01     0.00    1.02    8.94   127.97   598.53   145.79     0.00    0.43    1.78    0.28   0.25   0.25 xvdc        0.01     0.00    1.02    8.86   127.79   595.94   146.50     0.00    0.45    1.82    0.30   0.27   0.26 dm-0        0.00     0.00    0.69    2.32    10.47    31.69    28.01     0.01    3.23    0.71    3.98   0.13   0.04 dm-1        0.00     0.00    0.00    0.94     0.01     3.78     8.00     0.33  345.84    0.04  346.81   0.01   0.00 dm-2        0.00     0.00    0.09    0.07     1.35     0.36    22.50     0.00    2.55    0.23    5.62   1.78   0.03 [...] ^C 

iostat命令主要用于查看机器磁盘IO情况。该命令输出的列，主要含义是：

• r/s, w/s, rkB/s, wkB/s：分别表示每秒读写次数和每秒读写数据量（千字节）。读写量过大，可能会引起性能问题。
• await：IO操作的平均等待时间，单位是毫秒。这是应用程序在和磁盘交互时，需要消耗的时间，包括IO等待和实际操作的耗时。如果这个数值过大，可能是硬件设备遇到了瓶颈或者出现故障。
• avgqu-sz：向设备发出的请求平均数量。如果这个数值大于1，可能是硬件设备已经饱和（部分前端硬件设备支持并行写入）。
• %util：设备利用率。这个数值表示设备的繁忙程度，经验值是如果超过60，可能会影响IO性能（可以参照IO操作平均等待时间）。如果到达100%，说明硬件设备已经饱和。

如果显示的是逻辑设备的数据，那么设备利用率不代表后端实际的硬件设备已经饱和。值得注意的是，即使IO性能不理想，也不一定意味这应用程序性能会不好，可以利用诸如预读取、写缓存等策略提升应用性能。

free –m

$ free -m              total       used       free     shared    buffers     cached Mem:        245998      24545     221453         83         59        541 -/+ buffers/cache:      23944     222053 Swap:            0          0          0 

free命令可以查看系统内存的使用情况，-m参数表示按照兆字节展示。最后两列分别表示用于IO缓存的内存数，和用于文件系统页缓存的内存数。需要注意的是，第二行-/+ buffers/cache，看上去缓存占用了大量内存空间。这是Linux系统的内存使用策略，尽可能的利用内存，如果应用程序需要内存，这部分内存会立即被回收并分配给应用程序。因此，这部分内存一般也被当成是可用内存。

如果可用内存非常少，系统可能会动用交换区（如果配置了的话），这样会增加IO开销（可以在iostat命令中提现），降低系统性能。

sar -n DEV 1

$ sar -n DEV 1 Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015     _x86_64_    (32 CPU) 12:16:48 AM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil 12:16:49 AM      eth0  18763.00   5032.00  20686.42    478.30      0.00      0.00      0.00      0.00 12:16:49 AM        lo     14.00     14.00      1.36      1.36      0.00      0.00      0.00      0.00 12:16:49 AM   docker0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00 12:16:49 AM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil 12:16:50 AM      eth0  19763.00   5101.00  21999.10    482.56      0.00      0.00      0.00      0.00 12:16:50 AM        lo     20.00     20.00      3.25      3.25      0.00      0.00      0.00      0.00 12:16:50 AM   docker0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00 ^C 

sar命令在这里可以查看网络设备的吞吐率。在排查性能问题时，可以通过网络设备的吞吐量，判断网络设备是否已经饱和。如示例输出中，eth0网卡设备，吞吐率大概在22 Mbytes/s，既176 Mbits/sec，没有达到1Gbit/sec的硬件上限。

sar -n TCP,ETCP 1

$ sar -n TCP,ETCP 1 Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015    _x86_64_    (32 CPU) 12:17:19 AM  active/s passive/s    iseg/s    oseg/s 12:17:20 AM      1.00      0.00  10233.00  18846.00 12:17:19 AM  atmptf/s  estres/s retrans/s isegerr/s   orsts/s 12:17:20 AM      0.00      0.00      0.00      0.00      0.00 12:17:20 AM  active/s passive/s    iseg/s    oseg/s 12:17:21 AM      1.00      0.00   8359.00   6039.00 12:17:20 AM  atmptf/s  estres/s retrans/s isegerr/s   orsts/s 12:17:21 AM      0.00      0.00      0.00      0.00      0.00 ^C 

sar命令在这里用于查看TCP连接状态，其中包括：

• active/s：每秒本地发起的TCP连接数，既通过connect调用创建的TCP连接；
• passive/s：每秒远程发起的TCP连接数，即通过accept调用创建的TCP连接；
• retrans/s：每秒TCP重传数量；

TCP连接数可以用来判断性能问题是否由于建立了过多的连接，进一步可以判断是主动发起的连接，还是被动接受的连接。TCP重传可能是因为网络环境恶劣，或者服务器压力过大导致丢包。

top

$ top top - 00:15:40 up 21:56,  1 user,  load average: 31.09, 29.87, 29.92 Tasks: 871 total,   1 running, 868 sleeping,   0 stopped,   2 zombie %Cpu(s): 96.8 us,  0.4 sy,  0.0 ni,  2.7 id,  0.1 wa,  0.0 hi,  0.0 si,  0.0 st KiB Mem:  25190241+total, 24921688 used, 22698073+free,    60448 buffers KiB Swap:        0 total,        0 used,        0 free.   554208 cached Mem    PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND  20248 root      20   0  0.227t 0.012t  18748 S  3090  5.2  29812:58 java   4213 root      20   0 2722544  64640  44232 S  23.5  0.0 233:35.37 mesos-slave  66128 titancl+  20   0   24344   2332   1172 R   1.0  0.0   0:00.07 top   5235 root      20   0 38.227g 547004  49996 S   0.7  0.2   2:02.74 java   4299 root      20   0 20.015g 2.682g  16836 S   0.3  1.1  33:14.42 java      1 root      20   0   33620   2920   1496 S   0.0  0.0   0:03.82 init      2 root      20   0       0      0      0 S   0.0  0.0   0:00.02 kthreadd      3 root      20   0       0      0      0 S   0.0  0.0   0:05.35 ksoftirqd/0      5 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/0:0H      6 root      20   0       0      0      0 S   0.0  0.0   0:06.94 kworker/u256:0      8 root      20   0       0      0      0 S   0.0  0.0   2:38.05 rcu_sched 

top命令包含了前面好几个命令的检查的内容。比如系统负载情况（uptime）、系统内存使用情况（free）、系统CPU使用情况（vmstat）等。因此通过这个命令，可以相对全面的查看系统负载的来源。同时，top命令支持排序，可以按照不同的列排序，方便查找出诸如内存占用最多的进程、CPU占用率最高的进程等。

但是，top命令相对于前面一些命令，输出是一个瞬间值，如果不持续盯着，可能会错过一些线索。这时可能需要暂停top命令刷新，来记录和比对数据。

总结

排查Linux服务器性能问题还有很多工具，上面介绍的一些命令，可以帮助我们快速的定位问题。例如前面的示例输出，多个证据证明有JAVA进程占用了大量CPU资源，之后的性能调优就可以针对应用程序进行。

感谢徐川对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博（@InfoQ，@丁晓昀），微信（微信号：InfoQChina）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入InfoQ读者交流群（已满），InfoQ读者交流群（#2）

NetCat，在网络工具中有“瑞士军刀”美誉，其有Windows和Linux的版本。因为它短小精悍（1.84版本也不过25k，旧版本或缩减版甚至更小）、功能实用，被设计为一个简单、可靠的网络工具，可通过TCP或UDP协议传输读写数据。同时，它还是一个网络应用Debug分析器，因为它可以根据需要创建各种不同类型的网络连接。

一、版本
通常的Linux发行版中都带有NetCat（简称nc），甚至在拯救模式光盘中也由busybox提供了简版的nc工具。但不同的版本，其参数的使用略有差异。
NetCat 官方地址：

引用[root@hatest1 ~]# cat /etc/asianux-release
Asianux release 2.0 (Trinity SP2)
[root@hatest1 ~]# cat /etc/redflag-release
Red Flag DC Server release 5.0 (Trinity SP2)
[root@hatest1 ~]# type -a nc
nc is /usr/bin/nc
[root@hatest1 ~]# rpm -q nc
nc-1.10-22

建议在使用前，先用man nc看看帮助。这里以红旗DC Server 5.0上的1.10版本进行简单说明。
假设两服务器信息：

server1: 192.168.10.10
server2: 192.168.10.11

二、常见使用
1、远程拷贝文件
从server1拷贝文件到server2上。需要先在server2上，，用nc激活监听，

server2上运行： nc -l 1234 > text.txt

server1上运行： nc 192.168.10.11 1234 < text.txt

注：server2上的监听要先打开

2、克隆硬盘或分区
操作与上面的拷贝是雷同的，只需要由dd获得硬盘或分区的数据，然后传输即可。
克隆硬盘或分区的操作，不应在已经mount的的系统上进行。所以，需要使用安装光盘引导后，进入拯救模式（或使用Knoppix工具光盘）启动系统后，在server2上进行类似的监听动作：

 nc -l -p 1234 | dd of=/dev/sda

server1上执行传输，即可完成从server1克隆sda硬盘到server2的任务：

 dd if=/dev/sda | nc192.168.10.11 1234

※ 完成上述工作的前提，是需要落实光盘的拯救模式支持服务器上的网卡，并正确配置IP。

3、端口扫描
可以执行：

# nc -v -w 2 192.168.10.11 -z 21-24
nc: connect to 192.168.10.11 port 21 (tcp) failed: Connection refused
Connection to 192.168.10.11 22 port [tcp/ssh] succeeded!
nc: connect to 192.168.10.11 port 23 (tcp) failed: Connection refused
nc: connect to 192.168.10.11 port 24 (tcp) failed: Connection refused 
-z后面跟的是要扫描的端口

4、保存Web页面

# while true; do nc -l -p 80 -q 1 < somepage.html; done

5、模拟HTTP Headers

引用[root@hatest1 ~]# nc 80
GET / HTTP/1.1
Host: ispconfig.org
Referrer: mypage.com
User-Agent: my-browser

HTTP/1.1 200 OK
Date: Tue, 16 Dec 2008 07:23:24 GMT
Server: Apache/2.2.6 (Unix) DAV/2 mod_mono/1.2.1 mod_python/3.2.8 Python/2.4.3 mod_perl/2.0.2 Perl/v5.8.8
Set-Cookie: PHPSESSID=bbadorbvie1gn037iih6lrdg50; path=/
Expires: 0
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Cache-Control: private, post-check=0, pre-check=0, max-age=0
Set-Cookie: oWn_sid=xRutAY; expires=Tue, 23-Dec-2008 07:23:24 GMT; path=/
Vary: Accept-Encoding
Transfer-Encoding: chunked
Content-Type: text/html
[......]

在nc命令后，输入红色部分的内容，然后按两次回车，即可从对方获得HTTP Headers内容。

6、聊天
nc还可以作为简单的字符下聊天工具使用，同样的，server2上需要启动监听：

server2上启动：# nc -lp 1234 
server1上传输：# nc 192.168.10.11 1234

这样，双方就可以相互交流了。使用Ctrl+D正常退出。

7、传输目录
从server1拷贝nginx-0.6.34目录内容到server2上。需要先在server2上，用nc激活监听，

server2上运行：# nc -l 1234 |tar xzvf -

server1上运行：# tar czvf - nginx-0.6.34|nc 192.168.10.11 1234

8、用nc命名操作memcached

1）存储数据：printf “set key 0 10 6rnresultrn” |nc 192.168.10.11 11211
2）获取数据：printf “get keyrn” |nc 192.168.10.11 11211
3）删除数据：printf “delete keyrn” |nc 192.168.10.11 11211
4）查看状态：printf “statsrn” |nc 192.168.10.11 11211
5）模拟top命令查看状态：watch “echo stats” |nc 192.168.10.11 11211
6）清空缓存：printf “flush_allrn” |nc 192.168.10.11 11211 (小心操作，清空了缓存就没了）

Nginx从 1.1.4 开始，实现了对后端机器的长连接支持，这是一个激动人心的改进，这意味着 Nginx 与后端机器的通信效率更高，后端机器的负担更低。

例如，对一个没有长连接支持的后端机器，会出现大量TIME_WAIT 状态的连接，使用以下命令验证之：

netstat -n | grep TIME_WAIT

经过查阅官方文档，其目前已经实现了http, fastcgi, memcache 协议的长连接支持。而之前的版本中仅支持memcache 协议。

1. 启用到 memcache 服务器的长连接 
在upstream 配置段中增加 keepalive N 指令即可： 
upstream memcached_backend {

    server 127.0.0.1:11211;

    server 10.0.0.2:11211;

     keepalive 32;

}

server {

    ...

    location /memcached/ {

        set $memcached_key $uri;

        memcached_pass memcached_backend;

    }

}

2.  启用fastcgi 长连接支持 
除了需要在upstream 中配置 keepalive N 外，还需要在 location 中增加 fastcgi_keep_conn on;

upstream fastcgi_backend {

    server 127.0.0.1:9000;

     keepalive 8;

}

server {

    ...

    location /fastcgi/ {

        fastcgi_pass fastcgi_backend;

         fastcgi_keep_conn on;

        ...

    }

}

3.  启用对后端机器HTTP 长连接支持

upstream http_backend {

    server 127.0.0.1:8080;

    keepalive 16;

}

server {

    ...

    location /http/ {

        proxy_pass http://http_backend;

        proxy_http_version 1.1;

        proxy_set_header Connection "";

        ...

    }

}

注意：需要设置nginx 代理请求的 http 协议版本号为 1.1,  以及清除掉 Connection 请求header,  官方文档描述：

For HTTP, the proxy_http_version directive should be set to “ 1.1 ”  and the  “Connection ”  header field should be cleared .

The connections parameter should be set low enough to allow upstream servers to process additional new incoming connections as well. 

即是说：keepalive N 指令中 , N 的值应该尽可能设置小一些，以便后端机器可以同时接受新的连接。

在我负责的生产环境中，前端是nginx,  静态文件缓存使用 varnish,  使用长连接之后， varnish机器的连接数从 8000 多下降至 200 多，负载值也有明显降低。

但是针对fastcgi,  即后端机器是 php-fpm 服务时，在 nginx 日志中出现以下错误：

 upstream sent unsupported FastCGI protocol version: 0 while reading upstream 。

广泛搜集，目前还未解决之。如果您遇到同样的问题并解决之，请一定联系笔者信箱zhangxugg@163.com,  甚是感谢。

一,安装Libevent

#cd libevent-2.0.21-stable #./configure -prefix=/usr/local/libevent #make #make install

二,安装Memcached服务端

#cd memcached-1.4.15 #./configure -prefix=/usr/local/memcached  -with-libevent=/usr/local/libevent #make #make install

三,启动Memcached服务

#/usr/local/memcached/bin/memcached -d -m 50  -u root -p 12000 -c 256 -P /tmp/memcached.pid

注:
-d选项是启动一个守护进程，
-m是分配给Memcache使用的内存数量，单位是MB.
-u是运行Memcache的用户.
-l是监听的服务器IP地址,我这里没有填.
-p是设置Memcache监听的端口.
-c选项是最大运行的并发连接数,默认是1024,按照你服务器的负载量来设定.
-P是设置保存Memcache的pid文件.

四,安装Libmemcached

#cd libmemcached-1.0.16 #./configure -prefix=/usr/local/libmemcached  -with-memcached=/usr/local/memcached/bin/memcached #make #make install

注:
如果报”./libmemcached-1.0/memcached.h:46:27: error: tr1/cinttypes: No such file or directory”错误,则需要升级gcc版本.

五,安装Memcached PHP扩展

#cd memcached-2.1.0 找到phpize和php-config的路径,我的分别是/usr/local/bin/phpize和/usr/bin/php-config. #/usr/local/bin/phpize #./configure --with-php-config=/usr/bin/php-config  --with-libmemcached-dir=/usr/local/libmemcached #make #make install 安装成功后会生成memcached.so,把路径加到php.ini的extension=xxx里.

一、Shell:命令行编辑的功能（快捷键技巧）

Ctrl+a光标移到行首

按ctrl+a后其结果如下：

Ctrl+e光标移到行尾

Ctrl+u删除光标处到行首的内容

Ctrl+k删除光标处到行尾的内容

Ctrl+arrow（左右箭头）

二、globbing：文件名通配

 通配符有：

*：任意长度的任意字符

如：a*b：表示以a开头并以b结尾中间含有N个字符的求解，aab,abc,ab

？：任意单个字符

a?b,表示以a开头并以b结尾中间有且仅含有一个任意字符的求解，aab,ayb,abc,ab

[]:指定范围内的任意字符：[abc],[0-9],[a-z],[A-Z]

[:lower:]所有小写字母

[:upper:]所有大写字母

[:digit:]所有数字

如：a[a-z]b,aab,ayb,abc,ab

 求解/etc文件目录下所有以pass开头并以数字或字母结尾的字符

求解所有以字母开头并以数字结尾的字符：

ls [a-zA-Z]*[0-9]

如在:ab、ab~、ab4、4ab、a4b、ayb、abc、x4y、xy3、3xy、aab中求解上述的值：

 [^a-z]表示除了a到z的其他字符，既表示取反：

[[:alpha:]]代表所有以字符开头的字符

[[:punt:]]代表标点符号的集合

 三、命令行展开的功能

1、~

cd ~rehat

2、{}

用一个命令实现它：

mkdir -p {x/{y/a1,z/b1},m/n}

实现上述功能mkdir -v{x,m}_{y,z}

3、$()或``（`波浪形的那反引号）：命令引用

从上面的代码可以看出：

（1）echo是输出命令

（2）date获取系统日期及时将

（3）date +%T获取系统时间

（4）$（）与``的作用是等同的，可以替换

 四、如何避免字符展开：

a*b

如何创建a*b的文件

touch a*b是修改a*b的解的时间属性

要创建a*b的文件命令用：touch "a*b"即可

五、转义字符：\

避免一个字符表示通配的意义

六、如何使用命令别名

ll=ls -l

它是由alias定义的，alias是定义别名的命令

 定义别名：alias cls=clear其意义是将clear定义别名cls，此定义只对当前用户有效，而且重启机器后就失效

撤销别名：

使用原来的意义而非别名的意义可以采用\字符

七、脚本语言

bat，批处理

shell

bash

创建user1,user2,user3用户

.sh代表脚本，自然Linux并不以后缀名来识别文件

其中myuseradd.sh中的内容如下：

其演示如下：

使用top观察是否存在CPU使用率过高现象

对CPU使用率过高的进程的所有线程进行排序

使用gdb attach nmsagent所在的进程,在gdb中使用 info threads显示所有线程

得到如下结果,可以发现2909线程的编号是12

使用thread 切换线程,使用bt显示线程栈

得到如下线程栈

磁盘的内部结构及实现机制
分区的结构及实现机制
块的构造及原理
扇区的构造及结构

由于机械硬盘的访问机制为移动磁头，并等待磁碟旋转，因此在设计磁盘时，需要考虑如何组织数据为顺序访问，并且最大限度提供一次顺序访问尽可能多的数据

由于块大小设计直影响到性能、内存、空间等因素，因此需要合理设置块大小，同时需要合理的为业务扩展预留升级空间

机械磁盘读写原理

机械硬盘获取数据的方式为：

1、通过查找meta数据（图中的Data Meta，它是用于描述数据的数据，所以称为数据元，通常这些数据会被Cache在磁盘Cache或OS Cache中)，捕获数据存储物理区域。包括：磁头指向的磁道位置、磁道的起始、结束位置等，其中还包含了数据块的标记，如使用状态，分区、块、卷、扇区等等存储细节等，是磁盘运作机制的核心组件

2、驱动磁碟旋转（服务器通常磁盘会一直旋转，但为了省电及减少对驱动轴的损耗，通常会对旋转进行优化，即空闲时降低磁盘旋转速度或停止转动，但重新驱动磁盘也会消耗大量的功耗，厂家进行了很多节能减排的优化措施，为绿色环保做了不少贡献）

3、将磁头（图中的head）移动到指定的磁道，并从指定的起始位置开始读取bit流，一直至指定的结束位置，并将信号传送至处理程序，最后转化为OS识别的数据

机械硬盘核心组件：

1、磁盘控制器：内部包含用于控制多磁碟并行访问的机制，包括磁头移动、盘片旋转、供电、缓存、写保护等，是整个磁盘的核心组件

2、分区（LUN）：机械硬盘要被使用，通常先要被分区，并基于分区进行格式化，格式化将产生Meta数据，Meta数据通常会占用部分磁盘空间。空间大小取决于Block大小、分区量，Block越小，需要消耗的空间，用于于索引磁盘数据，接下来我们将还会介绍块及扇区的组合方式，多碟磁盘中，磁盘控制器将在每块磁碟中划分一块空间用于该分区使用，达到并行访问的目的，提升响应速度（通常某些访问需要集中访问的数据都集中在某些分区中），此处的分区不同于OS中的分区，此处为物理分区

3、块：块由扇区构成，块大小决定了数据访问的性能，如果大数据如果存储在小块中会导致浪费大量的数据元空间，并消耗更多的Cache、更多的寻道时间（数据是被分散再分区中的各个位置），所以当应用数据块比较小的时候，我们建议将数据划分成更大的块，提升性能，但如果块划的太大，会导致存储空间的浪费，当这些不需要的数据被LOAD到应用中时，同样会消耗额外的OS内存，通常我们建议根据业务的类型，在应用层选择合适的数据集大小，并设置合理的磁盘块大小

块由扇区构成，扇区直接构建再磁碟的磁面上，每个扇区为512byte，业绩意味着4KB的块大小将需要8个扇区组成（通常Linux设置块大小为4K），但再某些数据库应用中我们将数据库的数据设置为更大，如8K、16K、64K，日志设置为更大，如8K、16K、64K等，结构如下

4、扇区：扇区是磁盘存储的单元，扇区顾名思义，机械硬盘是圆形的，通过分区格式化后将得到一个一个的扇形结构，一条磁道的存储空间被格式化后将的到大量的扇形结构，磁盘的扇区大小为512byte，其在磁盘的结构如下图：

图中我们可以看到扇区结构非常复杂，包含数据区域、扇区分界标识区域、扇区间隙区域，磁盘在处理数据时为了更好的保护数据及容错、设计了扇区分界标识及扇区间隙（当然远远不止如此）

目前，整个Hadoop家族由以下几个子项目组成：

Hadoop Common
Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。

Avro
Avro是doug cutting主持的RPC项目，有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使hadoop的RPC模块通信速度更快、数据结构更紧凑。

Chukwa
Chukwa是基于Hadoop的大集群监控系统，由yahoo贡献。

HBase
基于Hadoop Distributed File System，是一个开源的，基于列存储模型的分布式数据库。

HDFS
分布式文件系统

Hive
hive类似CloudBase，也是基于hadoop分布式计算平台上的提供data warehouse的sql功能的一套软件。使得存储在hadoop里面的海量数据的汇总，即席查询简单化。hive提供了一套QL的查询语言，以sql为基础，使用起来很方便。

MapReduce
实现了MapReduce编程框架

Pig
Pig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。Yahoo网格运算部门开发的又一个克隆Google的项目Sawzall。

ZooKeeper
Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

检查 CPU

和 Xen 不同，KVM 需要有 CPU 的支持（Intel VT 或 AMD SVM），在安装 KVM 之前检查一下 CPU 是否提供了虚拟技术的支持：

# egrep '(vmx|svm)' --color=always /proc/cpuinfo
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx pdpe1gb rdtscp lm constant_tsc ida nonstop_tsc arat pni monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr sse4_1 sse4_2 popcnt lahf_lm

安装KVM

安装 KVM 很容易，要正常运行的话还需要折腾一下：

#yum -y install qemu-kvm libvirt python-virtinst bridge-utils

安装完后关闭 selinux 并重启系统，然后确认一下是否 kvm 安装成功：

#vi /etc/sysconfig/selinux
SELINUX=disabled

#reboot

#lsmod | grep kvm
kvm_intel 50412 3
kvm 305988 1 kvm_intel

#stat /dev/kvm
File: `/dev/kvm'
Size: 0 Blocks: 0 IO Block: 4096 character special fileDevice: 5h/5d Inode: 10584 Links: 1 Device type: a,e8Access: (0666/crw-rw-rw-) Uid: ( 0/ root) Gid: ( 36/ kvm)
Access: 2012-04-18 16:00:46.276341129 +0200
Modify: 2012-04-18 16:00:46.276341129 +0200
Change: 2012-04-18 16:00:46.276341129 +0200

再来确认一下 libvirt 是否能正常启动和关闭。重启 libvirtd 服务的话会报错，查看日志发现 internal error Failed to create mDNS client 错误，这个问题容易改正，安装 avahi 即可，也可以去 /etc/libvirt/libvirtd.conf 设置 mdns_adv = 0， 这里采用安装 avahi 的方法：

# /etc/init.d/libvirtd restart
Stopping libvirtd daemon: [FAILED]
Starting libvirtd daemon: [ OK ]
#tail /var/log/libvirt/libvirtd.log
2012-04-18 13:51:03.032+0000: 18149: info : libvirt version: 0.9.4, package: 23.el6_2.7 CentOSBuildSystem , 2012-04-16-14:12:59, c6b5.bsys.dev.centos.org)
2012-04-18 13:51:03.032+0000: 18149: error : virNetServerMDNSStart:460 : internal error Failed to create mDNS client: Daemon not running
# yum -y install avahi
# /etc/init.d/messagebus restart
# /etc/init.d/avahi-daemon restart
重启 libvirtd 服务继续报错，发现缺少 dmidecode 包，安装 dmidecode 后终于重启 libvirtd 成功 ：

# /etc/init.d/libvirtd restart
Stopping libvirtd daemon: [FAILED]
Starting libvirtd daemon: [ OK ]

# tail /var/log/libvirt/libvirtd.log
2012-04-18 13:54:54.654+0000: 18320: info : libvirt version: 0.9.4, package: 23.el6_2.7 (CentOS BuildSystem , 2012-04-16-14:12:59, c6b5.bsys.dev.centos.org)
2012-04-18 13:54:54.654+0000: 18320: error : virSysinfoRead:465 : internal error Failed to find path for dmidecode binary

# yum -y install dmidecode

# /etc/init.d/libvirtd restart
Stopping libvirtd daemon: [ OK ]
Starting libvirtd daemon: [ OK ]
现在 kvm 和 libvirt 都安装成功和运行了，但并不表示可用了，问题接着来。

配置网络桥接

桥接网络配置文件，从ifcfg-eth0复制现有网卡的配置文件，改名为ifcfg-br0：

cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-br0

修改ifcfg-br0，注意红色的两行，其他部分基本上不用改。

vi /etc/sysconfig/network-scripts/ifcfg-br0

DEVICE=br0

TYPE=Bridge

BOOTPROTO=static

BROADCAST=192.168.200.255

IPADDR=192.168.200.180

NETMASK=255.255.255.0

NETWORK=192.168.200.0

ONBOOT=yes

修改ifcfg-br0，注意红色的行，其他部分基本上不用改。

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

HWADDR=

ONBOOT=yes

BRIDGE=br0

#BOOTPROTO=static

#BROADCAST=192.168.200.255

#IPADDR=192.168.200.180

#NETMASK=255.255.255.0

#NETWORK=192.168.200.0

重启network服务

service network restart

这里需要注意，如果启用了NetworkManager，最好关闭该服务，因为该服务与network有冲突。

配置转发
执行以下命令：

echo 1 > /proc/sys/net/ipv4/ip_forward

这一步虽然只有简单的一条命令，但却很关键。如果不执行这一步，所有的虚拟机将无法上网。另外，上一步配置完桥接之后重启network，会自动将ip_forward改为0，所以重新配置网络后，不要忘了执行该命令。发现虚拟机无法上网的时候，也可以检查一下ip_forward值。

安装虚拟机
从 6 系列开始 RedHat 推荐使用 virt-install/virsh 系列工具操作 kvm，而不是直接使用 qemu-kvm，所以 qemu-kvm 被移到一个不起眼的地方 /usr/libexec/：

# qemu-kvm-bash: qemu-kvm: command not found# ls /usr/libexec/qemu-kvm/usr/libexec/qemu-kvm
VPSee 采用 RedHat 推荐的方式（virt-install）安装虚拟机，这里以安装 ubuntu-11.10-server-amd64.iso 为例：

# virt-install \
--name ubuntu \
--ram 512 \
--vcpus=1 \
--disk path=/root/ubuntu.img,size=10 \
--accelerate \
--cdrom /root/ubuntu-11.10-server-amd64.iso \
--graphics vnc
开始安装，创建硬盘 ubuntu.img 后就报错，用的是 root 帐号居然还 Permission denied?！

Starting install...Creating storage file ubuntu.img | 10.0 GB 00:00ERROR internal error Process exited while reading console log output: char device redirected to /dev/pts/1qemu-kvm: -drive file=/root/ubuntu.img,if=none,id=drive-ide0-0-0,format=raw,cache=none: could not open disk image /root/ubuntu.img: Permission denied
Domain installation does not appear to have been successful.If it was, you can restart your domain by running: virsh --connect qemu:///system start ubuntuotherwise, please restart your installation.
修改 qemu.conf 配置，把下面几个地方的注释去掉，然后把 dynamic_ownership 的值改成0，禁止 libvirtd 动态修改文件的归属：

# vi /etc/libvirt/qemu.conf

...

user = "root"

group = "root"

dynamic_ownership = 0

...
重启 libvirtd 服务再用上面的 virt-install 命令安装就应该可以了。这个时候 vnc 默认绑定的是本机 127.0.0.1，如果其他机器想用 vnc 客户端访问这台 kvm 服务器正在安装的 ubuntu 的话需要把 vnc 绑定到服务器的 IP 地址或者绑定到全局 0.0.0.0. 修改 qemu.conf 文件取消 vnc_listen 一行前面的注释，记得重启 libvirtd：

# vi /etc/libvirt/qemu.conf

...

vnc_listen = "0.0.0.0"

...
在 CentOS 5.x 安装 KVM 可以看：在 CentOS 5上安装和配置 KVM

只有RHEL5.5以上 64位 server版才可以安装KVM，Centos相同。client版本和32位都安装不了KVM。

安装前期准备： 因为有些CPU不支持kvm虚拟化，Need查看主板(BIOS)是否启动了虚拟化选项； 另外在安装Centos的软件包时，勾选虚拟化， 如果没有选， 可以用命令：yum install virt* 安装即可

0. 配置BIOS

使BIOS支持虚拟化，

如果没配置的话会报错：

“Error polling connection 'qemu:///system': internal error Cannot find suitable emulator for x86_64 ”

1.需要软件

       1.1Kvm 模块

       2.6.29之后内核大多包含了kvm模块， Slackware13.37内核版本为2.6.32已经包含       了kvm模块，所以无需从网上下载kvm-mod模块，否则模块无法正常启动，kvm虚拟机  速度极慢。

       1.2用户空间组件

       目前两种版本qemu-kvm 和 kvm 的用户空间组件，kvm 现在已经不提倡使用，最好使用qemu-kvm，从网上下载qemu-kvm-1.0.tar.gz， 版本号1.0

       1.3 yum install  tunctl 组件，版本号1.5， 主要用来实现虚拟机联网packages is in  DVD.

2.安装步骤 

       2.1  安装   qemu-kvm（如果yum 安装了qemu-kvn可以不安装这一步。）

       ./configure --disable-vnc-tls --disable-vnc-sasl    把这个VNC选项禁掉否则会报错；

       make

       make install

       2.2  安装   tunctl       

       yum install  tunctl -y

重启server，调试CPU.

3.主机和客户机联网

3. 关闭centos的NetworkManager（这一步可以不做）

一定要关闭这个服务，否则网卡的脚本配置文件可能不会生效，上不了网

service NetworkManager stop

3.4重启网络服务

service network restart

3.5开启转发（这一步可以不做）

echo 1 > /proc/sys/net/ipv4/ip_forward

3.6 Review network card status:

[root@localhost ~]# ifconfig
br33      Link encap:Ethernet  HWaddr 00:25:64:97:BA:51  
          inet addr:192.168.120.96  Bcast:192.168.120.255  Mask:255.255.255.0
          inet6 addr: fe80::225:64ff:fe97:ba51/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:641005 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4785 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:64019315 (61.0 MiB)  TX bytes:278717 (272.1 KiB)

eth0      Link encap:Ethernet  HWaddr 00:25:64:97:BA:51  
          inet6 addr: fe80::225:64ff:fe97:ba51/64 Scope:Link
          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1
          RX packets:1410323 errors:0 dropped:0 overruns:0 frame:0
          TX packets:465818 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:254264481 (242.4 MiB)  TX bytes:293774426 (280.1 MiB)
          Interrupt:21 Memory:fe6e0000-fe700000 

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:468571 errors:0 dropped:0 overruns:0 frame:0
          TX packets:468571 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:898319692 (856.7 MiB)  TX bytes:898319692 (856.7 MiB)

virbr0    Link encap:Ethernet  HWaddr 52:54:00:B3:44:41  
          inet addr:192.168.122.1  Bcast:192.168.122.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4293 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 b)  TX bytes:205669 (200.8 KiB)

vnet0     Link encap:Ethernet  HWaddr FE:54:00:11:CE:91  
          inet6 addr: fe80::fc54:ff:fe11:ce91/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:182999 errors:0 dropped:0 overruns:0 frame:0
          TX packets:911932 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:500 
          RX bytes:266186182 (253.8 MiB)  TX bytes:110334183 (105.2 MiB)

vnet1     Link encap:Ethernet  HWaddr FE:54:00:A5:0F:52  
          inet6 addr: fe80::fc54:ff:fea5:f52/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:161319 errors:0 dropped:0 overruns:0 frame:0
          TX packets:783482 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:500 
          RX bytes:20856924 (19.8 MiB)  TX bytes:97247791 (92.7 MiB)

[root@localhost ~]# 
Summary: eth0 don't have IP address, only br33 has valid IP. That is to say, br33 IP address is server's IP address.

小结：之前主机不能上网，虚拟机可以上网，可能的：1.没有写网桥的配置文件而是参照KVM官网上面，用命令来添加网桥，绑定网卡，故网桥就没有配置网关2.开启了NetworkManager 这个服务，导致用ifconfig命令来配置网络失效3.没有正确的设置好DNS

##########  新建完虚拟机后，千万不要使用默认的硬盘类型，要删除默认的硬盘，然后再添加一块硬盘，硬盘类型要vda的，硬盘格式要raw的，缓存模式要none，即可。  #########
使用默认的硬盘类型会出现死机情况和老牛拉破车情况---慢！！！

###########  注意选择架构和虚拟机类型，一定要选择kvm，架构符合你的虚拟机的实际情况，我的虚拟机选择kvm和i686，否则虚拟机非常慢，都没法使用了。  ################################

4.0 新建KVM虚拟机

安装虚拟机时，选择高级-网卡-br33，即可。

       切换到root用户： su –l

       安装kvm模块    modprobe kvm && modprobe kvm_intel

       查看模块安装; lsmod | grep kvm

新建虚拟机的步骤：

1. 在服务器上键入命令：（因为要选择镜像格式qcow2来做快照，所以不能使用图形界面默认的格式）

[root@PLASPACSHCN14 ~]# cd /var/lib/libvirt/images/

[root@PLASPACSHCN14 images]# qemu-img create -f qcow2 test.img 10G

Formatting 'test1.img', fmt=qcow2 size=10737418240 encryption=off cluster_size=65536

大小我给10G，根据需求自己可以定义，镜像名称是test.img。

2. 打开图形界面：

[root@PLASPACSHCN14 images]# virt-manager 
Xlib:  extension "RANDR" missing on display "localhost:10.0".

选择new，来新建一个虚拟机：

这里输入虚拟机的名字，然后注意，一定要选择“import existing disk image”,这样才可以选择刚才创建好的镜像。

选择“Forward”

这里输入刚才创建的镜像的路径即可。

选择下一步。

一路下一步，等待设置完成之后，会发现，没有选择光驱。

选择Details选项

这里选择“Add Hardware”

下面需要修改光盘文件的路径，指向操作系统镜像文件即可。

然后Device type:这里选择"IDE cdrom"即可。如图：

接下来，点击finish。重启之后继续安装系统就OK啦！

 kvm相关命令：

开启虚拟机：

virt-manager

4.1为客户机新建一个硬盘镜像

       qemu-img create -f qcow2 vdisk.img 50G

4.2安装客户机操作系统：

       光盘启动：

       qemu-system-x86_64-hda vdisk.img -cdrom /dev/cdrom -boot d -m 512

       .iso文件启动:

       qemu-system-x86_64-hda vdisk.img -cdrom /Centos6.0.iso(此处为iso文件路径) -bootd  -m512

4.3启动操作系统：

       qemu-system-x86_64–had vdisk.img–net nic,macaddr=自定义物理地址–net tap –  m 512

启动客户机后，可以如一般操作系统来使用，如果要联网配下客户机的ip和网关即可上网

过程中碰到的问题如：Centos6.2 下KVM 虚拟机 花屏死机问题， VNC错误等参见博客的其他文章，如有其他问题欢迎留言共同探讨， 另外以上命令可写成脚本简化安装。

1 修改 /etc/X11/xdm/Xaccess

 Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版，修改了 Ext3 中部分重要的数据结构，而不仅仅像 Ext3 对 Ext2 那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能：

1. 与 Ext3 兼容。 执行若干条命令，就能从 Ext3 在线迁移到 Ext4，而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留，Ext4 作用于新数据，当然，整个文件系统因此也就获得了 Ext4 所支持的更大容量。

2. 更大的文件系统和更大的文件。 较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件，Ext4 分别支持 1EB（1,048,576TB， 1EB=1024PB， 1PB=1024TB）的文件系统，以及 16TB 的文件。

3. 无限数量的子目录。 Ext3 目前只支持 32,000 个子目录，而 Ext4 支持无限数量的子目录。

4. Extents。 Ext3 采用间接块映射，当操作大文件时，效率极其低下。比如一个 100MB 大小的文件，在 Ext3 中要建立 25,600 个数据块（每个数据块大小为 4KB）的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念，每个 extent 为一组连续的数据块，上述文件则表示为“该文件数据保存在接下来的 25,600 个数据块中”，提高了不少效率。

5. 多块分配。 当 写入数据到 Ext3 文件系统中时，Ext3 的数据块分配器每次只能分配一个 4KB 的块，写一个 100MB 文件就要调用 25,600 次数据块分配器，而 Ext4 的多块分配器“multiblock allocator”（mballoc） 支持一次调用分配多个数据块。

6. 延迟分配。 Ext3 的数据块分配策略是尽快分配，而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配，直到文件在 cache 中写完才开始分配数据块并写入磁盘，这样就能优化整个文件的数据块分配，与前两种特性搭配起来可以显著提升性能。

7. 快速 fsck。 以前执行 fsck 第一步就会很慢，因为它要检查所有的 inode，现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表，今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。

8. 日志校验。 日志是最常用的部分，也极易导致磁盘硬件故障，而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4 的日志校验功能可以很方便地判断日志数据是否损坏，而且它将 Ext3 的两阶段日志机制合并成一个阶段，在增加安全性的同时提高了性能。

9. “无日志”（No Journaling）模式。 日志总归有一些开销，Ext4 允许关闭日志，以便某些有特殊需求的用户可以借此提升性能。

10. 在线碎片整理。 尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片，但碎片还是不可避免会产生。Ext4 支持在线碎片整理，并将提供 e4defrag 工具进行个别文件或整个文件系统的碎片整理。

11. inode 相关特性。 Ext4 支持更大的 inode，较之 Ext3 默认的 inode 大小 128 字节，Ext4 为了在 inode 中容纳更多的扩展属性（如纳秒时间戳或 inode 版本），默认 inode 大小为 256 字节。Ext4 还支持快速扩展属性（fast extended attributes）和 inode 保留（inodes reservation）。

12. 持久预分配（Persistent preallocation）。 P2P 软件为了保证下载文件有足够的空间存放，常常会预先创建一个与所下载文件大小相同的空文件，以免未来的数小时或数天之内磁盘空间不足导致下载失败。 Ext4 在文件系统层面实现了持久预分配并提供相应的 API（libc 中的 posix_fallocate()），比应用软件自己实现更有效率。

13. 默认启用 barrier。 磁 盘上配有内部缓存，以便重新调整批量数据的写操作顺序，优化写入性能，因此文件系统必须在日志数据写入磁盘之后才能写 commit 记录，若 commit 记录写入在先，而日志有可能损坏，那么就会影响数据完整性。Ext4 默认启用 barrier，只有当 barrier 之前的数据全部写入磁盘，才能写 barrier 之后的数据。（可通过 "mount -o barrier=0" 命令禁用该特性。）

1. # cd /etc/yum.repos.d/   
2. # wget http://www.linuxidc.com/repo/GITCO-XEN4.1.1_x86_64.repo   
3. # yum update   
4. # reboot  

如果上面的 yum update 没问题的话重启系统就可以了进入 xen 4.1.1 了，如果有问题导致一些依赖需要解决的话可以彻底删除 xen 后重新升级安装：

1. # yum groupremove Virtualization   
2. # yum groupinstall Virtualization   
3. # reboot 

在重启之前最好检查一下 grub 是否配置正确、默认启动是否是 xen.gz-4.1.1：

1. # vi /boot/grub/menu.lst   
2. ...   
3. title CentOS (2.6.18-194.26.1.el5xen)   
4.         root (hd0,0)   
5.         kernel /xen.gz-4.1.1  
6.         module /vmlinuz-2.6.18-194.26.1.el5xen ro root=LABEL=/   
7.         module /initrd-2.6.18-194.26.1.el5xen.img   
8. ...  

 EPEL(Extra Packages for Enterprise Linux)软件库提供为RHEL系列(4.x、5.x、6.x等等)重新编译的Fedora组件。这个软件库在不替换系统组件方面下了功夫。在某些情况下它尝试直接针对CentOS兼容性的问题，但坚决否定软件库间的兼容性是目标之一。当它与其它第三方软件库混合使用时，问题可能会出现。故此，当你使用EPEL时，尤其是当你亦会运用其它件库的组件时，请确保你使用yum的Priorities插件。

RPMForge库现在已经拥有超过10000种的CentOS的软件包，被CentOS社区认为是最安全也是最稳定的一个第三方软件库。

一、配置基本源

安装CentOS yum源优先级插件yum-priorities
      yum install yum-priorities   #输入y安装

设置CentOS默认yum源的优先级为最高
系统运维  www.osyunwei.com  温馨提醒：qihang01原创内容©版权所有,转载请注明出处及原文链接
     cd  /etc/yum.repos.d/   #进入yum源目录
     vi CentOS-Base.repo    #在[base]、[updates]、[extras]组下面添加priority=1，在[centosplus]、[contrib]组下面添加priority=2

二、EPEL(Extra Packages for Enterprise Linux)（http://fedoraproject.org/wiki/EPEL）

添加方法： 打开终端，输入

32位系统：
[root@CentOS ~]#rpm -ivh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-7.noarch.rpm (这里需要注意随着fedora系统的更新-6-7是会变的当提示你不能下载时就出网站看看)

64位系统：
[root@CentOS ~]#rpm -ivh http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm

然后导入公钥(不导入的话会出错)
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6

在/etc/yum.repos.d/epel.repo 里设置epel源的优先级为priority=11

三、下载与安装相应rpmforge的rpm文件包

1、下载rpmforge的rpm文件包（http://wiki.centos.org/AdditionalResources/Repositories/RPMForge）

32位系统

[root@CentOS ~]# wget http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el6.rf.i686.rpm

64位系统

[root@CentOS ~]# wget http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el6.rf.x86_64.rpm

2、安装DAG的PGP Key

[root@CentOS ~]# rpm --import http://dag.wieers.com/rpm/packages/RPM-GPG-KEY.dag.txt

3、验证rpmforge的rpm文件包

如果报XXX not an rpm package的错，查看是否wget下载的包不完整，包的大小是12K 

4、安装rpmforge的rpm文件包 

[root@CentOS ~]# rpm -ivh rpmforge-release-0.5.2-2.el6.rf.*.rpm 

5、设置/etc/yum.repos.d/rpmforge.repo文件中源的级别，就是添加priority=12这句

四、定义yum的非官方库

在服务器构建的过程中，我们将要用到的一些工具不存在于CentOS中yum的官方库中，所以需要定义yum的非官方库文件，让一些必需的工具通过yum也能够安装。 

点击(此处)折叠或打开