phpcms 采集模块教程

狂淘网 — Sat, 20 Feb 2010 02:46:00 GMT

采集网站：http://news.sina.com.cn

采集任务：新浪国内新闻

任务列表地址：http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_1.shtml

第一步：添加采集站点

操作：模块管理-》采集管理-》采集站点管理-》添加采集站点
两个属性：基本信息和站点规则，其中，基本信息为必填项。站点规则可以填写，也可以不填写。所以说这一步可以很简单，也可以稍微麻烦些（设置站点规则）。

A：基本信息填写：

站点名称：就是你给这个网站做的记号，便于以后管理所用。
站点 URL：就是网站的地址了。注意如果你采集的是网站的二级域名，比如
http://roll.news.sina.com.cn 那么，这里就填写二级域名。
站点描述：这个可以为空。

B：站点规则：

整个站点内容页（注意是内容页，就是文章的详细展示页面）的通用规则，这里如果设置好后，以后添加采集任务时，会自动继承这个规则，就会省很多工作量。

第二步：添加采集任务

操作：模块管理-》采集管理-》采集任务管理-》添加采集任务
或者：模块管理-》采集管理-》采集站点管理-》新浪国内新闻一行中 “添加任务”
采集任务有三个属性：网址采集内容规则高级设置

A 网站采集：

网址采集的目的是从列表页采集到文章内容页的网址，通俗点就是模仿鼠标从列表页点击文章内容页链接。下面对各个填写项说明一下：

基本信息：

所属站点：这个必须选择，只有选择了站点后，后续操作才能正常进行。
任务名称：这个必须填写，用于记忆。
简单描述：可不填写
发布栏目：一定要选择栏目，只有选择发布栏目，才能在内容规则里出现对应的发布字段！
网址采集：
单一网页或者无规律网页：这个最简单，只采集列表页的一页。
比如：http://roll.news.sina.com.cn/news/gnxw/gdxw1/index.shtml，
http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_2.shtml

采集多个规律网页：
如果采集页面地址很有规律，可以采用“批量添加多页”方式http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_2.shtml变成
http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_ (*).shtml 其中(*)就表示任意字符或者数字，我们称其为通配符。接下来，我们来定义这个通配符的变化范围：

通配符范围： 从____到_____ 步长倍数:___ 倒序生成补零: _____
页码=通配符×步长倍数
倒序生成：主要是为了采集来的内容也按照原文章列表里的顺序，一般网站列表分页都是都是按照时间降序的，最新发布的文章都在第一页，优先采集
页码数大的。后采集页面数小的。注意：现在有的站点列表页是倒序生成的。
补零：就是有的网站文章列表地址 1-10 页的地址中规律是这样的：index_01.shtml ，index_02.shtml对于这种情况，选中“补零“，就会自动在生成的页码上补零了。
文章网址筛选：这个是用来过滤非文章内容网址的，就是要求文章内容地址里必须包含什么字符，不能包含什么字符。
页面某一区域内获取网址:这个很重要，是用来确定文章列表的上下界限的。不填写则自动匹配真个页面区域。正确填写可以过滤掉不需要的网页链接，填写要点是：
1、找到文章列表的第一条记录，然后页面空白处右键->查看源文件，里面搜索第一条记录的名称，在第一条记录之前，寻找特殊标志作为边界起点填到第一个框里。
2、找到文章列表的最后一条记录或者分页标志，在最后一条记录之后寻找特殊标识，作为边界终点填写到第二个框里。注意，这个特殊标识必须为边界起点之后第一次出现！比如：http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_1.shtml 页面中，我寻找的
边界：

其中“

缩略图采集规则：

采集登陆网站：

B 内容规则：

标题：

和

和_就可以。由于title中都含有“_新闻中心_新浪网”这里用了信息替换功能。 内容：和作为边界，不过观察代码里面还有一些其他的注释和链接所以用了信息替换替换掉“ ”多个替换用“(|)”分隔开。 Html自动清除就是清除采集内容中带有的一些html标记了，根据实际情况自行选择即可。 设置文章分页采集和合并： <div style="text-align: center"> </div> <div style="text-align: left"> 分页代码的边界是指分页代码列表的上下边界。</div> <h4>C高级设置：</h4> <div style="text-align: left">列表页编码设置：列表页的编码，是 GBK还是 UTF-8，查看方法，打开列表页，然后页面空白处右键->查看源文件，搜索“charset=”等号之后就为页面编码。 内容页编码设置：这个是文章内容页的编码，查看方法同上。 下载图片、下载 flash、下载文件等这些都很简单，看描述就行了 多线程设置：这里，把线程数设置为 5 最后，数值越大，采集速度越快，占用系统资源也越大。 超时时间：就是采集内容链接无响应时间，不用改变。都设置好了，这时候点击“保持设置”就行了。</div> <h3>第三步：开始采集网址</h3> <div style="text-align: left">操作：模块管理-》采集管理-》采集任务管理-》管理操作中的采集网址。 </div> <div style="text-align: center"></div> <div style="text-align: left"> </div> <h3>第四步：开始采集内容</h3> <div style="text-align: left">操作：采集网址完成后，点击“采集内容” 或者：模块管理-》采集管理-》采集任务管理-》管理操作中的采集内容。 点击采集内容后，会自动显示采集进度条： </div> <div style="text-align: center"></div> <h3>第五步：发布内容</h3> <div style="text-align: left">操作：采集内容完成后，点击“发布内容” </div> <div style="text-align: center"></div> 这里有需要注意的地方就是生成 html(发布速度慢!)：如果你发布的内容较少，可以选中此项，如果你发布的文章超过百篇以上，建议不要选中该文件！因为 phpcms 默认的每发布文章会更新网站首页、列表页、栏目页、内容页的 html, 批量发布时会导致频繁更新这些页面而严重降低发布效率，取消该选项，发布文章时，只添加文章到数据库里，效率很高，发布完成后，可以通过 phpcms 内置的“生成 HTML”功能，只更新特定栏目和栏目下的内容页就行了。 “生成 HTML”操作位于“内容管理”-》“生成 HTML”根据需要更新栏目页和更新内容页即可。 <a href="http://www.kuangtao.net">www.kuangtao.net</a> 狂淘购物网 <div align=right><a style="text-decoration:none;" href="http://www.blogjava.net/wangbbs2007/" target="_blank">狂淘网</a> 2010-02-20 10:46 <a href="http://www.blogjava.net/wangbbs2007/articles/313435.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>怎么设置使MyEclipse的代码提示功能</h1> 狂淘网 — Thu, 19 Nov 2009 05:56:00 GMT 示用alt+/.需要做两件事. 1,windows-->preference-->workbench-->keys 下设置Content Assist 的快捷键 2,windows-->preference-->workbench-->keys 下设置wordcomletion 的快捷键改成其它的. 如果还是不提示有可能是提示功能被关了. 如下做 1、菜单window->Preferences->Java->Editor->Content Assist->Enable auto activation 选项要打 上勾 2、window->Preferences->Java->Editor->Content Assist->Advanced 上面的选项卡Select the proposal kinds contained in the 'default' content assist list: 中把 Other Java Proposals 选项打上勾就可以了。 实际上，Eclipse ，MyEclipse代码里面的代码提示功能默认的一般 是点“.”，一般是有了点“.”，才会有代码提示。 原理：“Auto Activation triggers for java”这个选项就是指触发代码提示的的选项，把“.” 改成“.abcdefghijklmnopqrstuvwxyz(,”的意思，就是指遇到26个字母和.，（这些符号就触发代码提 示功能了。（具体后面有说，放心） 增强Eclipse ，MyEclipse 的代码提示功能，具体怎么样来配置？下面开始说步骤（注意本人用的 MyEclipse 6.0.1做讲解）： 1. 打开MyEclipse 6.0.1，然后“window”→“Preferences” 2. 选择“java”，展开，“Editor”，选择“Content Assist”。 3. 选择“Content Assist”，然后看到右边，右边的“Auto-Activation”下面的“Auto Activation triggers for java”这个选项。其实就是指触发代码提示的就是“.”这个符号。 4. “Auto Activation triggers for java”这个选项，在“.”后加abc字母，方便后面的查找 修改。然后“apply”，点击“OK”。 5. 然后，“File”→“Export”，在弹出的窗口中选择“Perferences”，点击“下一步”。 6. 选择导出文件路径，本人导出到桌面，输入“test”作为文件名，点击“保存”。 7. 在桌面找到刚在保存的文件“test.epf”,右键选择“用记事本打开”。 8. 可以看到很多配置MyEclipse 6.0.1的信息 9. 按“ctrl + F”快捷键，输入“.abc”，点击“查找下一个”。 10. 查找到“.abc”的配置信息如下： 如下： 11. 把“.abc”改成“.abcdefghijklmnopqrstuvwxyz(,”，保存，关闭“test.epf”。 12. 回到MyEclipse 6.0.1界面，“File”→“Import”，在弹出的窗口中选择“Perferences”，点击 “下一步”，选择刚在已经修改的“test.epf”文件，点击“打开”，点击“Finish”。该步骤和上面 的导出步骤类似。 13. 最后当然是进行代码测试了。随便新建一个工程，新建一个类。在代码输入switch，foreach等进行 测试。你立即会发现，果然出了提示，而且无论是敲哪个字母都会有很多相关的提示了，很流畅，很方 便。 总结： “Auto Activation triggers for java”这个选项就是指触发代码提示的的选项，把“.”改成 “.abcdefghijklmnopqrstuvwxyz(,”的意思，就是指遇到26个字母和.，（这些符号就触发代码提示功 能了。 顺便说一下，修改类名，接口名等以不同颜色高亮的，可以这样配置在“java”→“enditor”→ “syntac”，右边展开“java”→“classes”，勾上“Enable”这个选项，选择自己喜欢的颜色即可。 当然还有其他相关的颜色配置。具体就不说啦。其实，在“Preferences”这个东西，有很多可以配置的 东西，使得MyEclipse 优化的，具体的就要各个人根据自己个人喜好去配置了 本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/wzgccm/archive/2009/02/05/3863409.aspx <div align=right><a style="text-decoration:none;" href="http://www.blogjava.net/wangbbs2007/" target="_blank">狂淘网</a> 2009-11-19 13:56 <a href="http://www.blogjava.net/wangbbs2007/articles/302911.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>在cmd中如何启动sql server 和mysql</h1> 狂淘网 — Sat, 31 Oct 2009 02:20:00 GMT cmd 运行 sql server启动关闭 net start mssql$+你的的实例名； net stop mssql$+你的的实例名； cmd 运行 mysql启动关闭 net start mysql； net start mysql； <div align=right><a style="text-decoration:none;" href="http://www.blogjava.net/wangbbs2007/" target="_blank">狂淘网</a> 2009-10-31 10:20 <a href="http://www.blogjava.net/wangbbs2007/articles/300452.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>chr码值对应列表大全</h1> 狂淘网 — Fri, 16 Oct 2009 12:40:00 GMT Chr("0") 　为0的字符 Chr("1") 　 Chr("2") 　 Chr("3") 　 Chr("4") 　 Chr("5") 　 Chr("6") 　 Chr("7") 　响铃 Chr("8") 　回格 Chr("9") 　tab(水平制表符) Chr("10") 　换行 Chr("11") 　tab(垂直制表符) Chr("12") 　换页 Chr("13") 　回车 chr(13)&chr(10) 回车和换行的组合 Chr("14") 　 Chr("15") 　 Chr("16") 　 Chr("17") 　 Chr("18") 　 Chr("19") 　 Chr("20") 　 Chr("21") 　 Chr("22") 　 Chr("23") 　 Chr("24") 　 Chr("25") 　 Chr("26") 　结束 End Chr("27") 　脱离 Pause break Chr("28") 　 Chr("29") 　 Chr("30") 　 Chr("31") 　 Chr("32") 　空格 SPACE Chr("33") 　! Chr("34") 　" Chr("35") 　# Chr("36") 　$ Chr("37") 　% Chr("38") 　& Chr("39") 　’ Chr("40") 　( Chr("41") 　) Chr("42") 　*　　　 Chr("43") 　+ Chr("44") 　, Chr("45") 　- Chr("46") 　. Chr("47") 　/ Chr("48") 　0 Chr("49") 　1 Chr("50") 　2 Chr("51") 　3 Chr("52") 　4　　　 Chr("53") 　5 Chr("54") 　6 Chr("55") 　7 Chr("56") 　8 Chr("57") 　9　　　 Chr("58") 　: Chr("59") 　; Chr("60") 　< Chr("61") 　= Chr("62") 　>　　　 Chr("63") 　? Chr("64") 　@ Chr("65") 　A Chr("66") 　B Chr("67") 　C　　　 Chr("68") 　D Chr("69") 　E Chr("70") 　F Chr("71") 　G Chr("72") 　H　　　 Chr("73") 　I Chr("74") 　J Chr("75") 　K Chr("76") 　L Chr("77") 　M　　　 Chr("78") 　N Chr("79") 　O Chr("80") 　P Chr("81") 　Q Chr("82") 　R　　　 Chr("83") 　S Chr("84") 　T Chr("85") 　U Chr("86") 　V Chr("87") 　W　　　 Chr("88") 　X Chr("89") 　Y Chr("90") 　Z Chr("91") 　[ Chr("92") 　\　　　 Chr("92") 　\ Chr("93") 　] Chr("94") 　^ Chr("95") 　_ Chr("96") 　` Chr("97") 　a　　　 Chr("98") 　b Chr("99") 　c Chr("100") 　d Chr("101") 　e Chr("102") 　f　　　 Chr("103") 　g Chr("104") 　h Chr("105") 　i Chr("106") 　j Chr("107") 　k　　　 Chr("108") 　l Chr("109") 　m Chr("110") 　n Chr("111") 　o Chr("112") 　p　　　 Chr("113") 　q Chr("114") 　r Chr("115") 　s Chr("116") 　t Chr("117") 　u　　　 Chr("118") 　v Chr("119") 　w Chr("120") 　x Chr("121") 　y Chr("122") 　z　　　 Chr("123") 　{ Chr("124") 　| Chr("125") 　} Chr("126") 　~ Chr("127") 　　　　 Chr("128") 　 Chr("129") 　 Chr("130") 　 Chr("131") 　 Chr("132") <div align=right><a style="text-decoration:none;" href="http://www.blogjava.net/wangbbs2007/" target="_blank">狂淘网</a> 2009-10-16 20:40 <a href="http://www.blogjava.net/wangbbs2007/articles/298634.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>Windows 2003系统修改密码办法</h1> 狂淘网 — Thu, 15 Oct 2009 08:59:00 GMT 远程桌面登陆windows 2003系统时，要修改密码的话只要按 Ctrl + Alt + End键就可以修改密码了。 很简单吧。 <div align=right><a style="text-decoration:none;" href="http://www.blogjava.net/wangbbs2007/" target="_blank">狂淘网</a> 2009-10-15 16:59 <a href="http://www.blogjava.net/wangbbs2007/articles/298417.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>开始→运行→输入的命令集锦</h1> 狂淘网 — Sat, 10 Oct 2009 09:48:00 GMT mstsc--远程桌面连接 logoff--注销命令 rononce －p --15秒关机 tsshutdn--60秒倒计时关机命令 iexpress--木马捆绑工具，系统自带 tourstart--xp简介（安装完成后出现的漫游xp程序） winchat--XP自带局域网聊天 sndrec32--录音机 Nslookup--IP地址侦测器 explorer--打开资源管理器 lusrmgr.msc--本机用户和组 services.msc－－－本地服务设置 oobe/msoobe /a--检查XP是否激活 notepad--－打开记事本 cleanmgr--**整理 net start messenger--开始信使服务 compmgmt.msc－－－计算机管理 net stop messenger--－停止信使服务 conf----启动 netmeeting dvdplay--－DVD播放器 charmap--－启动字符映射表 diskmgmt.msc－－－磁盘管理实用程序 calc----启动计算器 dfrg.msc--磁盘碎片整理程序 chkdsk.exe--－Chkdsk磁盘检查 devmgmt.msc－－－设备管理器 regsvr32 /u *.dll--停止dll文件运行 drwtsn32--－－系统医生 rononce －p --15秒关机 dxdiag--－－检查DirectX信息 regedt32--注册表编辑器 Msconfig.exe－－－系统配置实用程序 rsop.msc--组策略结果集 mem.exe--－显示内存使用情况 regedit.exe--注册表 progman--－程序管理器 winmsd--－－系统信息 perfmon.msc--计算机性能监测程序 winver--－－检查Windows版本 sfc /scannow--－扫描错误并复原 taskmgr--－任务管理器（2000／xp／2003） wmimgmt.msc--打开windows管理体系结构(WMI) wupdmgr--－windows更新程序 w脚本--－windows脚本宿主设置 write--－－－写字板 winmsd--－－系统信息 wiaacmgr--扫描仪和照相机向导 mem.exe--－显示内存使用情况 Msconfig.exe－－－系统配置实用程序 mplayer2--简易widnows media player mspaint--－画图板 mplayer2--媒体播放机 magnify--－放大镜实用程序 mmc----－打开控制台 mobsync--－同步命令 dxdiag--－－检查DirectX信息 drwtsn32--－－系统医生 devmgmt.msc－－－设备管理器 dfrg.msc--磁盘碎片整理程序 diskmgmt.msc－－－磁盘管理实用程序 dcomcnfg--打开系统组件服务 ddeshare--打开DDE共享设置 dvdplay--－DVD播放器 net stop messenger--－停止信使服务 net start messenger--开始信使服务 notepad--－打开记事本 nslookup--网络管理的工具向导 ntbackup--系统备份和还原 narrator--屏幕“讲述人” ntmsmgr.msc--移动存储管理器 ntmsoprq.msc－－－移动存储管理员操作请求 netstat －an--(TC)命令检查接口 syncapp--－创建一个公文包 sysedit--－系统配置编辑器 sigverif--文件签名验证程序 sndrec32--录音机 shrpubw--－创建共享文件夹 secpol.msc--－本地安全策略 syskey--－－系统加密，一旦加密就不能解开，保护windows xp系统的双重密码 services.msc－－－本地服务设置 Sndvol32--音量控制程序 sfc.exe--－系统文件检查器 sfc /scannow－－－windows文件保护 taskmgr--－任务管理器 eventvwr--事件查看器 eudcedit--造字程序 explorer--打开资源管理器 packager--对象包装程序 perfmon.msc--计算机性能监测程序 progman--－程序管理器 regedit.exe--注册表 rsop.msc--组策略结果集 regedt32--注册表编辑器 regsvr32 /u *.dll--停止dll文件运行 regsvr32 /u zipfldr.dll--－－取消ZIP支持 cmd.exe--－CMD命令提示符 chkdsk.exe--－Chkdsk磁盘检查 certmgr.msc--证书管理实用程序 calc----启动计算器 charmap--－启动字符映射表 cliconfg--SQL SERVER 客户端网络实用程序 Clipbrd--－剪贴板查看器 conf----启动netmeeting compmgmt.msc－－－计算机管理 cleanmgr--**整理 ciadv.msc--－－索引服务程序 osk----－打开屏幕键盘 odbcad32--ODBC数据源管理器 oobe/msoobe /a--检查XP是否激活 lusrmgr.msc--本机用户和组 Nslookup--IP地址侦测器 fsmgmt.msc--－共享文件夹管理器 utilman--－辅助工具管理器 gpedit.msc--－组策略 本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/lijingronghcit/archive/2009/10/01/4624968.aspx <div align=right><a style="text-decoration:none;" href="http://www.blogjava.net/wangbbs2007/" target="_blank">狂淘网</a> 2009-10-10 17:48 <a href="http://www.blogjava.net/wangbbs2007/articles/297717.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> </main></body></html>

BlogJava-狂淘网-文章分类-日常工具 说明