爱悠闲 > 使用solr搭建全文检索

使用solr搭建全文检索

分类: Lucene  |  标签: 全文检索,Solr  |  作者: huahuagongzi99999 相关  |  发布日期 : 2012-05-09  |  热度 : 413°
转载地址: 链接地址

Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档:

实战Lucene,第 1 部分: 初识 Lucene:链接地址

Lucene加速Web搜索应用程序的开发:链接地址

lucene下载地址    http://archive.apache.org/dist/lucene/java/

solr下载地址    http://archive.apache.org/dist/lucene/solr/

ik-analyzer下载地址: https://code.google.com/p/ik-analyzer/downloads/list

一、 solr介绍

solr是基于Lucene Java搜索库的企业级全文搜索引擎,目前是apache的一个项目。它的官方网址在链接地址 。solr需要运行在一个servlet 容器里,例如tomcat5.5solrlucene的上层提供了一个基于HTTP/XMLWeb Services,我们的应用需要通过这个服务与solr进行交互。

二、 solr安装和配置

关于solr的安装和配置,这里也有两篇非常好的文档,作者同时也 Lucene Java 项目的提交人和发言人:

使用Apache Solr实现更加灵巧的搜索:链接地址

链接地址

下面主要说说需要注意的地方。

Solr的安装非常简单,下载solrzip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录(example目录下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。


< Context  docBase ="D:/solr.war"  debug ="0"  crossContext ="true"   >

   
< Environment  name ="solr/home"  type ="java.lang.String"  value ="D:/solr/solr"  override ="true"   />

</ Context >

     观察这个指定的solr主位置,里面存在两个文件夹:conf和data。其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml。data则用于存放索引文件。

     schema.xml主要包括typesfields和其他的一些缺省设置。

solrconfig.xml用来配置Solr的一些系统属性,例如与索引和查询处理有关的一些常见的配置选项,以及缓存、扩展等等。

上面的文档对这两个文件有比较详细的说明,非常容易上手。注意到schema.xml里有一个

< uniqueKey > url </ uniqueKey >

的配置,这里将url字段作为索引文档的唯一标识符,非常重要。

三、 加入中文分词

对全文检索而言,中文分词非常的重要,这里采用了qieqie庖丁分词(非常不错:))。集成非常的容易,我下载的是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory。


/**

 * Created by IntelliJ IDEA.

 * User: ronghao

 * Date: 2007-11-3

 * Time: 14:40:59

 * 中文切词 对庖丁切词的封装

 
*/

public   class  ChineseTokenizerFactory  extends  BaseTokenizerFactory {

    
/**

     * 最多切分   默认模式

     
*/

    
public   static   final  String MOST_WORDS_MODE  =   " most-words " ;

    
/**

     * 按最大切分

     
*/

    
public   static   final  String MAX_WORD_LENGTH_MODE  =   " max-word-length " ;

    
private  String mode  =   null ;

    
public   void  setMode(String mode) {

             
if  (mode == null || MOST_WORDS_MODE.equalsIgnoreCase(mode)

                      
||   " default " .equalsIgnoreCase(mode)) {

                  
this .mode = MOST_WORDS_MODE;

             } 
else   if  (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {

                  
this .mode = MAX_WORD_LENGTH_MODE;

             }

             
else  {

                  
throw   new  IllegalArgumentException( " 不合法的分析器Mode参数设置: "   +  mode);

             }

        }

    @Override

    
public   void  init(Map < String, String >  args) {

        
super .init(args);

        setMode(args.get(
" mode " ));

    }

    
public  TokenStream create(Reader input) {

        
return   new  PaodingTokenizer(input, PaodingMaker.make(),

                  createTokenCollector());

    }

    
private  TokenCollector createTokenCollector() {

        
if ( MOST_WORDS_MODE.equals(mode))

             
return   new  MostWordsTokenCollector();

        
if ( MAX_WORD_LENGTH_MODE.equals(mode))

             
return   new  MaxWordLengthTokenCollector();

        
throw   new  Error( " never happened " );

    }

}

在schema.xml的字段text配置里加入该分词器。


< fieldtype  name ="text"  class ="solr.TextField"  positionIncrementGap ="100" >

            
< analyzer  type ="index" >

                
< tokenizer  class ="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory"  mode ="most-words" />


                
< filter  class ="solr.StopFilterFactory"  ignoreCase ="true"  words ="stopwords.txt" />

                
< filter  class ="solr.WordDelimiterFilterFactory"  generateWordParts ="1"  generateNumberParts ="1"  catenateWords ="1"  catenateNumbers ="1"  catenateAll ="0" />

                
< filter  class ="solr.LowerCaseFilterFactory" />


                
< filter  class ="solr.RemoveDuplicatesTokenFilterFactory" />

            
</ analyzer >

            
< analyzer  type ="query" >

                
< tokenizer  class ="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory"  mode ="most-words" />                

                
< filter  class ="solr.SynonymFilterFactory"  synonyms ="synonyms.txt"  ignoreCase ="true"  expand ="true" />

                
< filter  class ="solr.StopFilterFactory"  ignoreCase ="true"  words ="stopwords.txt" />

                
< filter  class ="solr.WordDelimiterFilterFactory"  generateWordParts ="1"  generateNumberParts ="1"  catenateWords ="0"  catenateNumbers ="0"  catenateAll ="0" />

                
< filter  class ="solr.LowerCaseFilterFactory" />

                
< filter  class ="solr.RemoveDuplicatesTokenFilterFactory" />

            
</ analyzer >

        
</ fieldtype >

</ types >

    完成后重启tomcat,即可在链接地址

体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下,注意修改jar包里字典的home。

四、 与自己应用进行集成

Solr安装完毕,现在可以将自己的应用与solr集成。其实过程非常的简单,应用增加数据-->根据配置的字段构建add的xml文档-->post至solr/update。

应用删除数据à根据配置的索引文档唯一标识符构建delete的xml文档-->post至solr/update。

检索数据à构建查询xml—>get至/solr/select/-->对solr返回的xml进行处理-->页面展现。

具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示,非常方便。

关于中文,solr内核支持UTF-8编码,所以在tomcat里的server.xml需要进行配置

< Connector  port ="8080"  maxHttpHeaderSize ="8192"  URIEncoding ="UTF-8"  … />

另外,向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码,然后用“+”连接。


String[] array  =  StringUtils.split(query,  null 0 );

        
for  (String str : array) {

            result 
=  result  +  URLEncoder.encode(str,  " UTF-8 " +   " + " ;

        }