天 霁

那天风大,搜搜的
posts - 4, comments - 36, trackbacks - 1, articles - 1
  BlogJava :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理

Nutch数据查看工具:RedmuTool

Posted on 2006-12-16 16:10 天霁 阅读(3582) 评论(15)  编辑  收藏 所属分类: nutch

        在nutch的开发过程中,很多程序员都烦恼nutch抓取数据后的保存格式,无法被直接浏览和管理,我也同样烦恼,呵呵,也是被人催得急了,抽出时间写了这么个小工具,用来浏览nutch保存的数据。

        准备设计的功能有3块:
        1。浏览和管理数据。
        2。搜索数据。
        3。导出nutch数据到指定数据库。

        花了一天时间先写了第一块的一部分,能够浏览nutch抓取后的数据,先放在blog上吧,版本定为0.1,其实0.1也高,0.01比较合适。写的匆忙,代码比较简陋,本想开放源码,又怕贻笑大方,暂时先不发布源码了,只发布了一个jar包,代码并没有经过混淆,如果感兴趣反编译过来看就好了,或者留个邮箱,等到基本功能完成了发布到sourceforge上。

        基本界面使用说明:

       一.   下载与安装:

                在这里下载,下载后解压缩,两个解压缩文件:RedmuTool.jar,startup.bat,一个类包文件
                夹:lib。确认这三个在同一文件夹下。

       二.   运行:

               执行startup.bat。界面如下:


           主界面出现后,File-->open,选择nutch抓取后保存数据的文件夹:


       菜单中不同的选项对应不同的文件夹:
       NutchCrawl,对应你选择的Crawl根目录。
       CrawlDB,对应crawldb文件夹。
       LinkDB,对应linkdb文件夹。
       Segments,对应segments文件夹。
       segment文件夹下是按照抓取时间命名的文件夹,内部分别是content,crawl_fetch,crawl_generate,crawl_parse,parse_data,parse_text,界面中对应的分别是:Content,CrawlFetch,ParseData和ParseText。
        点击相应的选择,就会看到相应的数据内容:

        
        字段名和相应的属性名相同,未做更多的处理。
       
         在使用中任何意见均可留言,或发送邮件到:redmuer@hotmail.com


评论

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2006-12-16 16:49 by BeanSoft
支持原创! 不管 SWT/SWING, 做出有用的东西来就是好鸟!

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2006-12-16 19:15 by stme
不错,本人正在研究nutch,有机会向您请教下

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2006-12-24 22:14 by baodijun
你好!我在使用你的软件导数据时,却什么数据都没有出来。不知道是为什么?
却出现了下面的内容。希望能得到帮助,谢谢。
06/12/24 22:01:06 INFO conf.Configuration: parsing jar:file:/E:/nutch%e5%b7%a5%e
5%85%b7/lib/hadoop-0.4.0.jar!/hadoop-default.xml

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2006-12-25 16:07 by 天霁
请查看目录选择是否正确。
你所提供的信息表示jar包加载正确。

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2007-01-10 11:06 by moonucool
现在nutch最新版的为nutch_0.8.1 要与时俱过呀 支持你

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2007-01-25 21:51 by 雨山
在网上搜到这个页面真是激动死了,下载了先。明天安装一下试试。多谢了阿!!你真是太、太、太好了:)

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2007-03-09 19:38 by 陈军
支持

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2007-04-03 18:43 by Nutch初学者
正在学习Nutch,这个工具很帅阿。能留下联系办法吗?有关Nutch的问题请教

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2007-04-04 09:47 by Nutch初学者
为什么我用dump出来的数据,里面的中文全是乱麻呢?~~

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2007-04-04 09:47 by Nutch初学者
为什么我用dump出来的数据,里面的中文全是乱码呢?~~

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2007-04-13 10:58 by 天霁
发到我邮箱里的提问我都回复了,不过有的回复好像失败了。
前一段项目压力比较大,没能继续更新这个小工具,马上项目快结束了,会继续更新这个工具,欢迎大家继续交流。
我的msn和邮箱在redmutool的帮助里都有显示,有问题在这里提出或者发邮件都可以。

# re: Nutch数据查看工具:RedmuTool[未登录]  回复  更多评论   

2008-06-18 16:21 by lee
请问有没有解决dump出来乱码的问题阿!知道请联系leehyokug@163.com

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2012-04-22 20:41 by 桑尼~
我们最近也在研究Nutch哇~ 能不能给我发一份哇~ 万分感谢哇~
snygirl@126.com 呵呵 @天霁

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2013-05-09 18:04 by qtshh
感谢楼主的奉献精神;谢谢了;可惜没有下载成功!

# re: Nutch数据查看工具:RedmuTool  回复  更多评论   

2013-05-09 18:05 by qtshh
发我一份吧,谢谢了!zhch_china@sina.com

只有注册用户登录后才能发表评论。


网站导航: