lucene創建索引初步和搜索初步

1 lucene簡介
1.1 什么是lucene
    Lucene是一個全文搜索框架，而不是應用產品。因此它并不像www.baidu.com 或者google Desktop那么拿來就能用，它只是提供了一種工具讓你能實現這些產品。
2 lucene的工作方式
    lucene提供的服務實際包含兩部分：一入一出。所謂入是寫入，即將你提供的源（本質是字符串）寫入索引或者將其從索引中刪除；所謂出是讀出，即向用戶提供全文搜索服務，讓用戶可以通過關鍵詞定位源。
2.1寫入流程
    源字符串首先經過analyzer處理，包括：分詞，分成一個個單詞；去除stopword（可選）。
將源中需要的信息加入Document的各個Field中，并把需要索引的Field索引起來，把需要存儲的Field存儲起來。
    將索引寫入存儲器，存儲器可以是內存或磁盤。
2.2讀出流程
    用戶提供搜索關鍵詞，經過analyzer處理。
對處理后的關鍵詞搜索索引找出對應的Document。
用戶根據需要從找到的Document中提取需要的Field。
3 一些需要知道的概念
3.1 analyzer
    Analyzer是分析器，它的作用是把一個字符串按某種規則劃分成一個個詞語，并去除其中的無效詞語，這里說的無效詞語是指英文中的“of”、 “the”，中文中的“的”、“地”等詞語，這些詞語在文章中大量出現，但是本身不包含什么關鍵信息，去掉有利于縮小索引文件、提高效率、提高命中率。
分詞的規則千變萬化，但目的只有一個：按語義劃分。這點在英文中比較容易實現，因為英文本身就是以單詞為單位的，已經用空格分開；而中文則必須以某種方法將連成一片的句子劃分成一個個詞語。具體劃分方法下面再詳細介紹，這里只需了解分析器的概念即可。
3.2 document
用戶提供的源是一條條記錄，它們可以是文本文件、字符串或者數據庫表的一條記錄等等。一條記錄經過索引之后，就是以一個Document的形式存儲在索引文件中的。用戶進行搜索，也是以Document列表的形式返回。
3.3 field
    一個Document可以包含多個信息域，例如一篇文章可以包含“標題”、“正文”、“最后修改時間”等信息域，這些信息域就是通過Field在Document中存儲的。
</span>

    Field有兩個屬性可選：存儲和索引。通過存儲屬性你可以控制是否對這個Field進行存儲；通過索引屬性你可以控制是否對該Field進行索引。這看起來似乎有些廢話，事實上對這兩個屬性的正確組合很重要，下面舉例說明：還是以剛才的文章為例子，我們需要對標題和正文進行全文搜索，所以我們要把索引屬性設置為真，同時我們希望能直接從搜索結果中提取文章標題，所以我們把標題域的存儲屬性設置為真，但是由于正文域太大了，我們為了縮小索引文件大小，將正文域的存儲屬性設置為假，當需要時再直接讀取文件；我們只是希望能從搜索解果中提取最后修改時間，不需要對它進行搜索，所以我們把最后修改時間域的存儲屬性設置為真，索引屬性設置為假。上面的三個域涵蓋了兩個屬性的三種組合，還有一種全為假的沒有用到，事實上Field不允許你那么設置，因為既不存儲又不索引的域是沒有意義的。

4 Lucene 其實很簡單的,它最主要就是做兩件事:建立索引和進行搜索 
來看一些在lucene中使用的術語,這里并不打算作詳細的介紹,只是點一下而已----因為這一個世界有一種好東西，叫搜索。
IndexWriter:lucene中最重要的的類之一，它主要是用來將文檔加入索引，同時控制索引過程中的一些參數使用。
Analyzer:分析器,主要用于分析搜索引擎遇到的各種文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等。
Directory:索引存放的位置;lucene提供了兩種索引存放的位置，一種是磁盤，一種是內存。一般情況將索引放在磁盤上；相應地lucene提供了FSDirectory和RAMDirectory兩個類。
Document:文檔;Document相當于一個要進行索引的單元，任何可以想要被索引的文件都必須轉化為Document對象才能進行索引。
Field：字段。
IndexSearcher:是lucene中最基本的檢索工具，所有的檢索都會用到IndexSearcher工具;
Query:查詢，lucene中支持模糊查詢，語義查詢，短語查詢，組合查詢等等,如有TermQuery,BooleanQuery,RangeQuery,WildcardQuery等一些類。
QueryParser: 是一個解析用戶輸入的工具，可以通過掃描用戶輸入的字符串，生成Query對象。

5 StandardAnalyzer是lucene中內置的"標準分析器",可以做如下功能: 
1、對原有句子按照空格進行了分詞 
2、所有的大寫字母都可以能轉換為小寫的字母 
3、可以去掉一些沒有用處的單詞，例如"is","the","are"等單詞，也刪除了所有的標點 

好了，我們通過一個小例子來驗證一下：

    package com.dhb.test;


import java.io.File;  
import java.io.FileReader;  
import java.io.IOException;  

import org.apache.lucene.analysis.standard.StandardAnalyzer;  
import org.apache.lucene.document.Document;  
import org.apache.lucene.document.Field;  
import org.apache.lucene.index.CorruptIndexException;  
import org.apache.lucene.index.IndexReader;  
import org.apache.lucene.index.IndexWriter;  
import org.apache.lucene.index.IndexWriterConfig;  
import org.apache.lucene.queryParser.ParseException;  
import org.apache.lucene.queryParser.QueryParser;  
import org.apache.lucene.search.IndexSearcher;  
import org.apache.lucene.search.Query;  
import org.apache.lucene.search.ScoreDoc;  
import org.apache.lucene.search.TopDocs;  
import org.apache.lucene.store.Directory;  
import org.apache.lucene.store.FSDirectory;  
import org.apache.lucene.store.LockObtainFailedException;  
import org.apache.lucene.store.RAMDirectory;  
import org.apache.lucene.util.Version;  
import org.junit.Test;  

public class HelloLucene {  
    /** 
     * 建立索引 
     */  
    @Test  
    public void index() {  
        IndexWriter writer = null;  
        try {  
            //1、創建Directory  
            //Directory directory = new RAMDirectory();             //建立在內存中的  
            Directory directory = FSDirectory.open(new File("D:/luceneData/index01"));   //創建在硬盤上  
            //2、創建IndexWriter  
            IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_35,   
                    new StandardAnalyzer(Version.LUCENE_35));  
            writer = new IndexWriter(directory, iwc);  
            //3、創建Document對象  
            Document doc = null;  
            //4、為Document添加Field  
            File f = new File("D:/luceneData/example");  
            for (File file : f.listFiles()) {  
                doc = new Document();  
                doc.add(new Field("content", new FileReader(file)));  
                doc.add(new Field("filename", file.getName(), Field.Store.YES, Field.Index.NOT_ANALYZED));  
                doc.add(new Field("path",file.getAbsolutePath(),Field.Store.YES,Field.Index.NOT_ANALYZED));  
                //5、通過indexWriter添加文檔到索引中  
                writer.addDocument(doc);  
            }  
        } catch (CorruptIndexException e) {  
            e.printStackTrace();  
        } catch (LockObtainFailedException e) {  
            e.printStackTrace();  
        } catch (IOException e) {  
            e.printStackTrace();  
        } finally {  
            if(writer!=null)  
                try {  
                    writer.close();  
                } catch (CorruptIndexException e) {  
                    e.printStackTrace();  
                } catch (IOException e) {  
                    e.printStackTrace();  
                }  
        }  

    }  
    /** 
     * 搜索 
     */  
    @Test  
    public void searcher() {  
        try {  
            //1、創建Directory  
            Directory directory = FSDirectory.open(new File("D:/luceneData/index01"));   //創建在硬盤上  
            //2、創建IndexReader  
            IndexReader reader = IndexReader.open(directory);  
            //3、根據IndexReader創建IndexSearcher  
            IndexSearcher searcher = new IndexSearcher(reader);  
            //4、創建搜索的Query  
            //創建parser來確定要搜索文件的內容，第二個參數表示搜索的域  
            QueryParser parser = new QueryParser(Version.LUCENE_35, "content",   
                    new StandardAnalyzer(Version.LUCENE_35));  
            //創建query，表示搜索域為content中包含java的文檔  
            Query query = parser.parse("java");  
            //5、根據searcher搜索并且返回TopDocs  
            TopDocs tds = searcher.search(query, 10);  
            //6、根據TopDocs獲取ScoreDoc對象  
            ScoreDoc[] sds = tds.scoreDocs;  
            for(ScoreDoc sd : sds) {  
                //7、根據searcher和ScoreDoc對象獲得具體的Document對象  
                Document d = searcher.doc(sd.doc);  
                //8、根據Document對象獲取需要的值  
                System.out.println(d.get("filename")+"["+d.get("path")+"]");  
            }  
            //9、關閉reader  
            reader.close();  
        } catch (IOException e) {  
            e.printStackTrace();  
        } catch (ParseException e) {  
            e.printStackTrace();  
        }     

    }  
}  </pre><br />