来个图：

动作分解：
<传言看源代码理解的更细致，不过偶没看，偶是根据文档和下午的操作总结的，错了请指正。>

1.创建空数据库Webdb：

2.向Webdb中注入入口攫取地址：

3.根据Webdb中数据生成fetchlist，并生成相应的segment。

4.根据fetchlist攫取内容（fetched content）。

5.根据获取内容更新Webdb

6.重复执行3-5.这个过程52se称为“产生/抓取/更新”循环。

7.完成上面的循环后，根据Webdb中信息，如网页评分和链接信息等，再次更新segment.

8.索引被攫取的页面，生成链接。

9.去除indexes中重复的内容和链接。

10.依靠indexes合成单一的index文件。大功告成。

上面这些步骤都可以对应到Nutch给我们提供的CrawlTool中的命令上。

爬虫忙完了，有了数据，我们就可以利用Nutch的search部分功能来查找内容了。

参考：Nutch爬虫工作流程及文件格式详细分析

Introduction to Nutch, Part 1: Crawling

1.爬虫工作的过程？

2.爬虫获取数据后，数据的存储结构？

3.数据如何索引成Lucene设定的索引格式？

上午干工作耽误了，下午得闲，看点资料。试简单总结一下上面几个问题的。

先回答2号问题，数据的存储结构好了。

Nutch把爬虫找回来的资料做成了放在一个文件夹里面，美其名曰Web database。其实里面分别就四个文件夹了事。依次道来：

• crawldb：存放需要抓取的的超链接地址；
• segments：存放依据crawldb中提供的地址抓取到的内容信息。segments中的每个子文件夹存储fetcher根据crawldb抓取一次所得的内容。这些抓取的内容包括有content、crawl_fetch、crawl_generate、crawl_parse、parse_data、parse_text。其中content是抓取下来的网页内容；crawl_generate根据crawldb最初生成；crawl_fetch、content在抓取时生成；crawl_parse、parse_data、parse_text在解析抓取的数据文件时生成。其中crawl_generate、crawl_fetch和crawl_parse是crawldb的部分url数据，它们格式一样，不同的是抓取时间、状态、签名等有所变化。
• Index和indexes：Index是最终我们所需要得到的东西，而Index就是通过indexes合并的到的。
• Linkdb：linkdb中存放的是所有超链接及其每个链接的连入地址和锚文件。

好了这个存储结构的问题完成了。

抽空先写这么多，呆会有时间在继续。

网络上面介绍这个配置的比较多，我就不重复劳动了。

推荐文档如下：Nutch Version 0.8x tutorial ，还有就是这里的篇日志。

我在这里记录一下遇到的几个错误和解决办法，大家可能有用。

如执行如下命令：
./nutch crawl ../urls.txt  -dir ../ihooyo  -depth 5 -topN 100
参数说明：
-url 就是刚才我们创建的url文件,存放我们要抓取的网址
-dir 指定抓取内容所存放的目录，如上存在mydir中
-threads 指定并发的线程数
-depth 表示以要抓取网站顶级网址为起点的爬行深度
-topN 表示获取前多少条记录，可省

可能错误1：

Generator: jobtracker is 'local', generating exactly one partition.
Generator: 0 records selected for fetching, exiting ...
Stopping at depth=0 - no more URLs to fetch.
No URLs to fetch - check your seed list and URL filters.
crawl finished: sina5

说明：指定要抓取的网址(url.txt)经过(crawl-urlfilters.xml)过滤后，已经没有可抓取对象了，检查两者的匹配即可。

可能错误2：

Dedup: starting
Dedup: adding indexes in: ../ihooyo/indexes
Exception in thread "main" java.io.IOException: Job failed!
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:604)
        at org.apache.nutch.indexer.DeleteDuplicates.dedup(DeleteDuplicates.java:439)
        at org.apache.nutch.crawl.Crawl.main(Crawl.java:135)

说明：一般为./conf/nutch-site.xml文件配置有错误。请参考如下配置修改。
[xml]
<property>
<name>http.agent.name</name>
<value>ihooyo</value>
<description></description>
</property>
<property>
<name>http.agent.description</name>
<value>apersonblog</value>
<description></description>
</property>
<property>
<name>http.agent.url</name>
<value>www.ihooyo.com</value>
<description></description>
</property>
<property>
<name>http.agent.email</name>
<value>pjuneye@qq.com</value>
<description></description>
</property>
[/xml]
这种配置错误，在log日志中可找到提示。

可能错误3：

Injector: Converting injected urls to crawl db entries.
Exception in thread "main" java.io.IOException: Job failed!
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:604)
        at org.apache.nutch.crawl.Injector.inject(Injector.java:162)
        at org.apache.nutch.crawl.Crawl.main(Crawl.java:115)

说明：一般为crawl-urlfilters.txt中配置问题，比如过滤条件应为
+^http://www.ihooyo.com ,而配置成了 http://www.ihooyo.com 这样的情况就引起如上错误。

好了写完了。

1.Nutch到底是什么?

Nutch是一个开源的Java语言实现的搜索引擎。它通过完整功能的搜索系统。

2.Nutch和Lucene到底是什么关系?两者如何取舍?

Nutch基于Lucene，Lucene为Nutch提供文本索引和搜索API。两者的取舍问题在于Lucene不能够为你抓取数据，所以如果在有数据源的情况下最好的方式是使用Lucene API来建立索引，完成搜索。如果需要抓取数据的话，那自然是选择Nutch为好。

3.Nutch的基本安装步骤?

这个问题有官方文档。在这里。

PS:似乎网络Nutch上最多的帖子就是关于这个的.其中比较有意思的就是摆脱Cgywin的一些方法,比如利用window批处理或者利用ant.个人还是觉得ant更通用.

4.Nutch的基本组成?

Nutch基本上两部分组成：抓取部分和搜索部分。抓取程序抓取页面并将抓取回来的数据做成反向索引；搜索程序则将反向索引搜索回答用户的请求。两者的关联部分在于索引。
具体内容还需要仔细看文档和介绍.

5.Nutch文档集中地?
http://wiki.apache.org/nutch/

补充完成，今日继续。愚人节快乐!

仿《大腕》经典对白：

一定要找那最流行的框架，
用功能最强大编辑器，
做就要做最复杂的系统，
轻量级的绝对不行，
框架最简单也得是ＳＰＲＩＮＧ，
什么ＥＪＢ啊，ＨＩＢＥＲＮＡＴＥ啊，ＳＥＡＭ啊，能用的全都得用上，
表现层要可配置、持久层要可替换，
程序最好能用一万年，
客户一见面，甭管有事没事，
都得问人家：您准备换框架不？
系统还得能够集群
访问量再小也得同时开１０几台服务器
一天２４小时在线
火星撞地球了都能提供服务
服务器上跑得都是weblogic、websphere
你要用一jboss，都不好意思跟人家打招呼
你说这系统，得做多长时间？
（怎么地也得５年吧？）
５年？那是一期工程，
１０年起，
你得揣摩老板的心理，
愿意花５年开发一套系统的老板，
根本就不在乎再多等５年，
什么是软件工程你知道么？
软件工程就是，搞什么都不用最好的，用最复杂的
所以我们口号就是：
不求最好，但求最复杂。

基本思想：

       堆排序是一树形选择排序，在排序过程中，将R[1..N]看成是一颗完全二叉树的顺序存储结构，利用完全二叉树中双亲结点和孩子结点之间的内在关系来选择最小的元素。

堆的定义:

N个元素的序列K1,K2,K3,...,Kn.称为堆，当且仅当该序列满足特性：
       Ki≤K2i Ki ≤K2i+1(1≤ I≤ [N/2])

       堆实质上是满足如下性质的完全二叉树：树中任一非叶子结点的关键字均大于等于其孩子结点的关键字。例如序列10,15,56,25,30,70就是一个堆，它对应的完全二叉树如上图所示。这种堆中根结点（称为堆顶）的关键字最小，我们把它称为小根堆。反之，若完全二叉树中任一非叶子结点的关键字均大于等于其孩子的关键字，则称之为大根堆。

排序过程：

堆排序正是利用小根堆（或大根堆）来选取当前无序区中关键字小（或最大）的记录实现排序的。我们不妨利用大根堆来排序。每一趟排序的基本操作是：将当前无序区调整为一个大根堆，选取关键字最大的堆顶记录，将它和无序区中的最后一个记录交换。这样，正好和直接选择排序相反，有序区是在原记录区的尾部形成并逐步向前扩大到整个记录区。

小根堆排序实现：

HeapSort.java

package javasort;

// 参考：http://blog.csdn.net/EmaYoung/archive/2007/09/29/1806228.aspx
public class HeapSort {

    //调整无序序列为大根堆 s 为数组的起始下标，m为终止下标
    public void HeapAdjust(int[] arr, int s, int m) {
        int temp = arr[s];
        for (int j = 2 * s + 1; j < m; j = j * 2 + 1) {
            if (j + 1 < m && arr[j] > arr[j + 1]) {
                ++j;
            }
            if (temp < arr[j]) {
                break;
            }
            arr[s] = arr[j];
            s = j;
            arr[s] = temp;
        }
    }

    //根据大根堆，对堆排序
    public void HeapSorting(int[] arr) {
        //把顺序表构建成为一个大根堆
        for (int i = arr.length / 2 - 1; i >= 0; --i) {
            HeapAdjust(arr, i, arr.length);
        }

        for (int j = arr.length - 1; j > 0; --j) {
            int temp = arr[0];
            arr[0] = arr[j];
            arr[j] = temp;
            HeapAdjust(arr, 0, j);
        }
    }
}

Main.java

package javasort;
public class Main {

    public static void main(String[] args) {
        int[] arry_int = {49, 38, 65, 97, 76, 13, 27, 55};
        show("数组排序前", arry_int);
        System.out.println();
        HeapSort hsort = new HeapSort();
        hsort.HeapSorting(arry_int);
        show("数组排序后", arry_int);
    }

    private static void show(String message, int[] array) {
        System.out.println(">>>" + message + "<<<");
        for (int i = 0; i < array.length; i++) {
            System.out.print("  " + array[i]);
        }
    }
}

执行结果：

>>>数组排序前<<<
  49  38  65  97  76  13  27  55
>>>数组排序后<<<
  97  76  65  55  49  38  27  13