Ajax、脚本网页内容抓取小工具 - lucene + hadoop 分布式并行计算搜索框架

随笔-23 评论-58 文章-0 trackbacks-0

原理：通过浏览器去访问要抓取的Ajax、脚本网页地址，通过读取浏览器内存document来得到脚本执行以后的网页内容

1、文件路径为带抓取网页地址，格式如下：
1,http://www.google.com
2,http://www.baidu.com
......
......

2、保存路径为抓取下来的网页保存路径

Ajax、脚本网页内容抓取小工具点这下载

posted on 2011-04-27 13:37 nianzai 阅读(2159) 评论(1) 编辑收藏所属分类: 开发工具

评论:

# re: Ajax、脚本网页内容抓取小工具[未登录] 2011-12-07 02:46 | Mike

不明白这个工具和chrome"开发人员工具"、firebug有什么优势回复更多评论


只有注册用户登录后才能发表评论。




网站导航: 博客园 IT新闻知识库 C++博客博问管理
相关文章: 脚本、Ajax网页内容抓取工具(第二版) Ajax、脚本网页内容抓取小工具

随笔分类