BlogJava-海水正蓝-随笔分类-Solrhttp://www.blogjava.net/xiaohuzi2008/category/53075.html面朝大海，春暖花开zh-cnMon, 03 Dec 2012 10:33:19 GMTMon, 03 Dec 2012 10:33:19 GMT60【转】Solr 缓存配置http://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392376.html小胡子小胡子Mon, 03 Dec 2012 08:54:00 GMThttp://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392376.htmlhttp://www.blogjava.net/xiaohuzi2008/comments/392376.htmlhttp://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392376.html#Feedback0http://www.blogjava.net/xiaohuzi2008/comments/commentRss/392376.htmlhttp://www.blogjava.net/xiaohuzi2008/services/trackbacks/392376.html
缓存在 Solr 中充当了一个非常重要的角色，Solr 中主要有这三种缓存：
  • Filter cache（过滤器缓存），用于保存过滤器（fq 参数）和层面搜索的结果
  • Document cache（文档缓存），用于保存 lucene 文档存储的字段
  • Query result（查询缓存），用于保存查询的结果
还有第四种缓存，lucene 内部的缓存，不过该缓存外部无法控制到。

通过这 3 种缓存，可以对 solr 的搜索实例进行调优。调整这些缓存，需要根据索引库中文档的数量，每次查询结果的条数等。
在调整参数前，需要事先得到 solr 示例中的以下信息：
  • 索引中文档的数量
  • 每秒钟搜索的次数
  • 过滤器的数量
  • 一次查询返回最大的文档数量
  • 不同查询和不同排序的个数
这些数量可以在 solr admin 页面的日志模块找到。假设以上的值分别为：

  • 索引中文档的数量：1000000
  • 每秒钟搜索的次数：100
  • 过滤器的数量：200
  • 一次查询返回最大的文档数量：100
  • 不同查询和不同排序的个数：500
然后可以开始修改 solrconfig.xml 中缓存的配置了，第一个是过滤器缓存：

<filterCache class="solr.FastLRUCache" size="200" initialSize="200"  autowarmCount="100"/>
第二个是查询结果缓存：

<queryResultCache class="solr.FastLRUCache" size="500" initialSize="500" autowarmCount="250"/>
第三个是文档缓存：

<documentCache class="solr.FastLRUCache" size="11000" initialSize="11000" />
这几个配置是基于以上的几个假设的值进行调优的。
原文出自：
http://insolr.com/forum.php?mod=viewthread&tid=7&reltid=880&pre_thread_id=19&pre_pos=5&ext=


小胡子 2012-12-03 16:54 发表评论
]]>【转】solr导入数据库http://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392375.html小胡子小胡子Mon, 03 Dec 2012 08:51:00 GMThttp://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392375.htmlhttp://www.blogjava.net/xiaohuzi2008/comments/392375.htmlhttp://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392375.html#Feedback0http://www.blogjava.net/xiaohuzi2008/comments/commentRss/392375.htmlhttp://www.blogjava.net/xiaohuzi2008/services/trackbacks/392375.html一.首先准备好solr的dataimport功能需要的东西，在solr的下载包中。分别在：
1》Solr-1.3.0\dist\apache-solr-dataimporthandler-1.3.0.jar
2》E:\education\search\Solr-1.3.0\example\example-DIH\solr\
3》你是哪种数据库，提供该数据库的jdbc驱动。

二.如果你还不会运行solr，请参考本人的前几篇博客。这里要做的是，先把E:\education\search\Solr-1.3.0 \example\example-DIH\solr\下面的东西拷贝到solr的HOME目录，然后删除rss，这个是另外一个功能是导入rss订阅信 息到solr中，确实很强，这都想到了。将jar文件，实际就两个拷贝到tomcat的webapps下面的solr的WEB-INF的lib文件夹下 面。

三.更改solr Home目录下的conf/solrconfig.xml，其实就是提交一个solrRequestHandler,代码如下：
  • <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">  
  •     <lst name="defaults">  
  •       <str name="config">C:\solr-tomcat\solr\db\conf\db-data-config.xml</str>  
  •     </lst>  
  •   </requestHandler>  

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">    <lst name="defaults">      <str name="config">C:\solr-tomcat\solr\db\conf\db-data-config.xml</str>    </lst>  </requestHandler>

四.将solr Home目录下面的solrconfig.xml和schema.xml拷贝到db文件夹下面的conf中。

五.修改db\conf\db-data-config.xml
  • <dataConfig>  
  •         <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/tuitui" user="root" password="mysql"/>  
  •     <document name="shop">  
  •             <entity name="tuitui_shop" pk="shopId" query="select * from tuitui_shop">  
  •             <field column="shopid" name="shopId" />  
  •             <field column="shopName" name="shopName" />  
  •             <field column="shopUrl" name="shopUrl" />  
  •             <field column="keyword" name="keyword" />  
  •             <field column="synopsis" name="synopsis" />  
  •             <field column="province" name="province" />  
  •             <field column="city" name="city" />  
  •             <field column="domain" name="domain" />  
  •             <field column="address" name="address" />  
  •             <field column="coordinate" name="coordinate" />  
  •             <field column="shopSspn" name="shopSspn" />  
  •             <field column="phone" name="phone" />  
  •             <field column="createTime" name="createTime" />  
  •         </entity>  
  •     </document>  
  • </dataConfig>  

<dataConfig>                <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/tuitui" user="root" password="mysql"/>    <document name="shop">            <entity name="tuitui_shop" pk="shopId" query="select * from tuitui_shop">            <field column="shopid" name="shopId" />            <field column="shopName" name="shopName" />            <field column="shopUrl" name="shopUrl" />            <field column="keyword" name="keyword" />            <field column="synopsis" name="synopsis" />            <field column="province" name="province" />            <field column="city" name="city" />            <field column="domain" name="domain" />            <field column="address" name="address" />            <field column="coordinate" name="coordinate" />            <field column="shopSspn" name="shopSspn" />            <field column="phone" name="phone" />            <field column="createTime" name="createTime" />        </entity>    </document></dataConfig>

其中的意思我做简单解释，具体大家可以去看看官方wiki。
document：一个文档也就是lucene的document这个没什么解释的；
entity：主要针对的是一个数据库表；
filed：属性column是数据库的字段，name是filed的名字，即schema中的field name
http://wiki.apache.org/solr/DataImportHandler

六.启动TOMCAT，输入地址进行导入，导入分为很多模式：我选用的全部倒入模式。

http://localhost/solr/dataimport?command=full-import 原文出自：
http://insolr.com/forum.php?mod=viewthread&tid=128&reltid=880&pre_thread_id=19&pre_pos=4&ext=


小胡子 2012-12-03 16:51 发表评论
]]>【转】solr与tomcat 集成http://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392374.html小胡子小胡子Mon, 03 Dec 2012 08:50:00 GMThttp://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392374.htmlhttp://www.blogjava.net/xiaohuzi2008/comments/392374.htmlhttp://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392374.html#Feedback0http://www.blogjava.net/xiaohuzi2008/comments/commentRss/392374.htmlhttp://www.blogjava.net/xiaohuzi2008/services/trackbacks/392374.html先从网址
http://labs.mop.com/apache-mirror/lucene/solr/3.6.1/apache-solr-3.6.1.zip 下载程序文件

1.解压开找到apache-solr-3.6.1\apache-solr-3.6.1\dist目录下的apache-solr-3.6.1.war
直接放到tomcat/webapps下面

2.先别急着启动慢慢来,修改配置文件apache-solr-3.6.1\WEB-INF\web.xml
找到:
  <!-- People who want to hardcode their "Solr Home" directly into the
       WAR File can set the JNDI property here...
   -->
  <!--
    <env-entry>
       <env-entry-name>solr/home</env-entry-name>
       <env-entry-value>/put/your/solr/home/here</env-entry-value>
       <env-entry-type>java.lang.String</env-entry-type>
    </env-entry>
   -->
更改这为
  <!-- People who want to hardcode their "Solr Home" directly into the
       WAR File can set the JNDI property here...
   -->
    <env-entry>
       <env-entry-name>solr/home</env-entry-name>
       <env-entry-value>d:/solr_work/solr</env-entry-value>
       <env-entry-type>java.lang.String</env-entry-type>
    </env-entry>
  注:红色字体的文件夹为apache-solr-3.6.1\example\solr 该应用（此为单核应用,多核以后会讲到）放大D盘的新建空目录solr_work目录下就可以


3.启动tomcat,输入http://localhost:8080/solr  solr应用搭建成功原文出自：
http://insolr.com/forum.php?mod=viewthread&tid=3&reltid=880&pre_thread_id=19&pre_pos=6&ext=


小胡子 2012-12-03 16:50 发表评论
]]>【转】Solr 4.0部署http://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392373.html小胡子小胡子Mon, 03 Dec 2012 08:48:00 GMThttp://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392373.htmlhttp://www.blogjava.net/xiaohuzi2008/comments/392373.htmlhttp://www.blogjava.net/xiaohuzi2008/archive/2012/12/03/392373.html#Feedback0http://www.blogjava.net/xiaohuzi2008/comments/commentRss/392373.htmlhttp://www.blogjava.net/xiaohuzi2008/services/trackbacks/392373.html 本文只是Solr 4.0的基础教程，本人不经常写东西，写的不好请见谅，欢迎到群233413850进行讨论学习。
       先说一点部署之后肯定会有人用solrj，solr 4.0好像添加了不少东西，其中CommonsHttpSolrServer这个类改

名为HttpSolrServer，我是找了半天才发现，大家以后可以注意。


     部署前准备:


Solr 4.0 目录:

        

        这里是我的部署方式，Tomcat安装好之后把apache-solr-4.0.0\example\webapps下的solr.war文件拷贝到Tomcat下的

Tomcat7.0\webapps目录下，然后启动Tomcat 报错不用管，solr.war会自动解压，之后打开Tomcat7.0\webapps\solr\WEB-

INF\web.xml，把下面代码复制进去放到后面：

  1. <env-entry>   
  2.       <env-entry-name>solr/home</env-entry-name>   
  3.       <env-entry-value>E:\SolrHome</env-entry-value>   
  4.       <env-entry-type>java.lang.String</env-entry-type>
  5.     </env-entry>
复制代码

            其中  E:\SolrHome  是存放solr配置文件等，修改为自己文件的位置，为了看着更清晰直观，你可以这样放:


            E:\Tomcat7.0


            E:\apache-solr-4.0.0


            E:\SolrHome


            现在可以重新启动Tomcat了，没有报错，通过这个地址进入Solr4.0页面:http://localhost:8080/solr

        

            如果进入以上界面说明成功了，没有成功的话页面会有ERROR提示。


            如图：左侧core0,core1等是solr 4.0中的示例，core0和core1位于apache-solr-4.0.0\example\multicore所有文件都下拷贝

到E:\SoleHome下，core0和core1可以理解为两个库，都是独立的，用来存放索引以及生成这些索引文件所需要的配置文件，solrtest是我测试建立的目录，如图：

        没添加一个库都需要在solr.xml里面进行配置，这个比较简单

  1. <solr persistent="false">  
  2.            <cores adminPath="/admin/cores" host="${host:}" hostPort="${jetty.port:}">   
  3.                  <core name="core0" instanceDir="core0" />   
  4.                  <core name="core1" instanceDir="core1" />   
  5.                  <core name="collection1" instanceDir="collection1" />   
  6.                  <core name="solrtest" instanceDir="solrtest"/>
  7.           </cores>
  8.    </solr>
复制代码
name=""，是库的名字，instanceDir=""，是目录

        每个目录下包含两个文件夹conf和data，data下有两个文件夹index和tlog，index是存放生成的索引文件，tlog存放log，

conf下是必要的配置文件schema.xml和solrconfig.xml，可以参考官方或者core里面的配置文件：

  1. <?xml version="1.0" ?>
  2. <schema name="example solr test" version="1.1">
  3.   <types>
  4.    <fieldtype name="string"  class="solr.StrField" sortMissingLast="true" omitNorms="true"/>
  5.    <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>
  6.   </types>

  8. <fields>   
  9.   <!-- general -->
  10.   <field name="id" type="string" indexed="true" stored="true" multiValued="false" required="true"/>
  11.   <field name="type" type="string" indexed="true" stored="true" multiValued="false" />
  12.   <field name="name" type="string" indexed="true" stored="true" multiValued="false" />
  13.   <field name="_version_" type="long" indexed="true" stored="true"/>
  14. </fields>

  16. <!-- field to use to determine and enforce document uniqueness. -->
  17. <uniqueKey>id</uniqueKey>

  19. <!-- field for the QueryParser to use when an explicit fieldname is absent -->
  20. <defaultSearchField>name</defaultSearchField>

  22. <!-- SolrQueryParser configuration: defaultOperator="AND|OR" -->
  23. <solrQueryParser defaultOperator="OR"/>
  24. </schema>
复制代码

        solrconfig.xml我还不是很懂，在这里就不讲了，但是必须配置（好像是必须配）：

  1. <?xml version="1.0" encoding="UTF-8" ?>
  2. <!-- 可以从core文件中copy过来 -->
  3. <config>
  4.   <luceneMatchVersion>LUCENE_40</luceneMatchVersion>
  5.   
  6.   <directoryFactory name="DirectoryFactory" class="${solr.directoryFactory:solr.StandardDirectoryFactory}"/>

  8.   <dataDir>${solr.solrtest.data.dir:}</dataDir>   这里solr.后面名字改掉

  10.   <updateHandler class="solr.DirectUpdateHandler2">
  11.     <updateLog>
  12.       <str name="dir">${solr.solrtest.data.dir:}</str>
  13.     </updateLog>
  14.   </updateHandler>

  16.   <requestHandler name="/get" class="solr.RealTimeGetHandler">
  17.     <lst name="defaults">
  18.       <str name="omitHeader">true</str>
  19.     </lst>
  20.   </requestHandler>
  21.   
  22.   <requestHandler name="/replication" class="solr.ReplicationHandler" startup="lazy" />

  24.   <requestDispatcher handleSelect="true" >
  25.     <requestParsers enableRemoteStreaming="false" multipartUploadLimitInKB="2048" />
  26.   </requestDispatcher>
  27.   
  28.   <requestHandler name="standard" class="solr.StandardRequestHandler" default="true" />
  29.   <requestHandler name="/analysis/field" startup="lazy" class="solr.FieldAnalysisRequestHandler" />
  30.   <requestHandler name="/update" class="solr.UpdateRequestHandler"  />
  31.   <requestHandler name="/admin/" class="org.apache.solr.handler.admin.AdminHandlers" />

  33.   <requestHandler name="/admin/ping" class="solr.PingRequestHandler">
  34.     <lst name="invariants">
  35.       <str name="q">solrpingquery</str>
  36.     </lst>
  37.     <lst name="defaults">
  38.       <str name="echoParams">all</str>
  39.     </lst>
  40.   </requestHandler>

  42.   <!-- config for the admin interface -->
  43.   <admin>
  44.     <defaultQuery>solr</defaultQuery>
  45.   </admin>

  47. </config>
复制代码

        之后在exampledocs目录下手动创建一个solr1.xml文件：

  1. <?xml version="1.0" ?>
  2. <add>
  3.   <doc>
  4.     <field name="id">solr1</field>
  5.     <field name="type">type1</field>
  6.     <field name="name">my solr test</field>
  7.   </doc>
  8. </add>
复制代码

         跟schema.xml中的字段对应，好了现在可以提交数据了，这里在window命令窗口提交数据，把E:\apache-solr-

4.0.0\example\exampledocs下的post.jar复制到 E:\SolrHome\exampledocs下

        打开命令窗口CD 到E:\SolrHome\exampledocs下使用命令，Tomcat不要忘了开：

java -Durl=http://localhost:8080/solr/solrtest/update -Ddata=files -jar post.jar solr1.xml






如图成功的添加的索引，看下E:\SolrHome\solrtest\data\index下的文件：


        进入solr页面：

        

        点击Executu Query查询，右侧生成了地址可以打开查看，到此结束。


原文地址：http://insolr.com/forum.php?mod=viewthread&tid=880&page=1&extra=#pid969


小胡子 2012-12-03 16:48 发表评论
]]>