BlogJava-anchor110-文章分类-lucene、solr等搜索技术相关

htmlparser中获取网页超链接的两种方法

小一败涂地 — Wed, 22 Aug 2012 10:33:00 GMT

方法一：

URL url = new URL(pageUrl);
URLConnection conn = url.openConnection();
parser = new Parser(conn);

NodeList list = parser.parse(new TagNameFilter("a"));

方法二：

HTMLLinkBean htmlLinkBean = new HTMLLinkBean();
htmlLinkBean.setURL("http://www.sohu.com");
URL[] urls = htmlLinkBean.getLinks();

小一败涂地 2012-08-22 18:33 发表评论

org.htmlparser.util.EncodingChangeException: character mismatch问题解决

小一败涂地 — Wed, 22 Aug 2012 10:04:00 GMT

场景：
项目中利用htmlparser抽取网页中的超链接，代码如下：

URL url = new URL(pageUrl);
URLConnection conn = url.openConnection();
parser = new Parser(conn);
list = parser.parse(new TagNameFilter("a"));

传参数pageUrl="http://tv.sohu.com/movie/"运行时，报错：

org.htmlparser.util.EncodingChangeException: character mismatch。

解决办法：
修改htmlparser.jar中的org.htmlparser.tags.MetaTag.java，修改如下：

public void doSemanticAction() throws ParserException {
        String httpEquiv;
        String charset;

        httpEquiv = getHttpEquiv();
        if ("Content-Type".equalsIgnoreCase(httpEquiv)) {
            if (Page.DEFAULT_CHARSET == getPage().getEncoding()) {
                charset = getPage().getCharset(getAttribute("CONTENT"));
                getPage().setEncoding(charset);
            }
        }
    }

重新运行，问题解决。

小一败涂地 2012-08-22 18:04 发表评论

solr分词中文支持问题

小一败涂地 — Tue, 08 Nov 2011 10:29:00 GMT

solr搭建完毕，写了测试程序，搜索中文，怎么搜也搜不出来。

后来发现，是TOMCAT服务器字符编码问题造成的。
于是，在conf/server.xml中，添加字符编码：

注意：URIEncoding大小写得对，如果写错了，无效。

小一败涂地 2011-11-08 18:29 发表评论

solr与paoding分词的集成

小一败涂地 — Sat, 05 Nov 2011 13:59:00 GMT

集成步骤：
1、去

http://paoding.googlecode.com/svn/trunk/paoding-analysis/

下载paoding项目。
2、添加环境变量：

PAODING_DIC_HOME＝D:\work\paoding-analysis\dic，注“D:\work\paoding-analysis\dic”为pading项目的dic目录位置。
3、修改

D:\work\paoding-analysis\dic下的paoding-dic-names.properties文件，增加：paoding.dic.home=D:\work\paoding-analysis\dic
4、运行：D:\work\paoding-analysis下的build.bat,生成新的paoding-analysis.jar文件。
5、将上一步生成的paoding-analysis.jar拷贝至solr.war/WEN-INF/lib下。
6、修改solr目录中的配置文件，比如E:\solr-tomcat\solr\conf\scheme.xml，在里面添加filetype，使用paoding分词解析器，如下：

7、重启solr服务，生效。登录：

http://localhost:8080/solr/admin/analysis.jsp

即可测试验证安装结果。

小一败涂地 2011-11-05 21:59 发表评论