??? Lucene不是一個(gè)現(xiàn)成的程序，類似文件搜索程序或web網(wǎng)絡(luò)爬行器或是一個(gè)網(wǎng)站的搜索引擎。Lucene是一個(gè)軟件庫(kù)，一個(gè)開發(fā)工具包，而不是一個(gè)具 有完整特征的搜索應(yīng)用程序。它本身只關(guān)注文本的索引和搜索。Lucene使你可以為你的應(yīng)用程序添加索引和搜索能力。目前已經(jīng)有很多應(yīng)用程序的搜索功能是 基于 Lucene 的，比如 Eclipse 的幫助系統(tǒng)的搜索功能。

??? Lucene 采用的是一種稱為反向索引（inverted index）的機(jī)制。反向索引就是說(shuō)我們維護(hù)了一個(gè)詞/短語(yǔ)表，對(duì)于這個(gè)表中的每個(gè)詞/短語(yǔ)，都有一個(gè)鏈表描述了有哪些文檔包含了這個(gè)詞/短語(yǔ)。這樣在用戶輸入查詢條件的時(shí)候，就能非常快的得到搜索結(jié)果。

??? 文檔建立好索引后，就可以在這些索引上面進(jìn)行搜索了。搜索引擎首先會(huì)對(duì)搜索的關(guān)鍵詞進(jìn)行解析，然后再在建立好的索引上面進(jìn)行查找，最終返回和用戶輸入的關(guān)鍵詞相關(guān)聯(lián)的文檔。
?? 今天在傳智播客的課堂上，湯陽(yáng)光老師教我們實(shí)現(xiàn)了簡(jiǎn)單的Lucene搜索引擎，使我們能夠?qū)Υ罅康奈臋n實(shí)現(xiàn)不同需求的查找。以下是我的總結(jié)。

1. 準(zhǔn)備環(huán)境：添加jar包
? lucene-core-2.4.0.jar（核心）；
? lucene-analyzers-2.4.0.jar（分詞器）；
? lucene-highlighter-2.4.0.jar（高亮器）；

* 相關(guān)參數(shù)說(shuō)明

<1> Directory，代表了 Lucene 的索引的存儲(chǔ)的位置。這是一個(gè)抽象類，常用的有兩個(gè)實(shí)現(xiàn)，第一個(gè)是 FSDirectory，它表示一個(gè)存儲(chǔ)在文件系統(tǒng)中的索引位置。第二個(gè)是 RAMDirectory，它表示一個(gè)存儲(chǔ)在內(nèi)存當(dāng)中的索引位置。

<2> Analyzer，在一個(gè)文檔被索引之前，首先需要對(duì)文檔內(nèi)容進(jìn)行分詞處理，這部分工作就是由 Analyzer 來(lái)做的。Analyzer 類是一個(gè)抽象類，它有多個(gè)實(shí)現(xiàn)。針對(duì)不同的語(yǔ)言和應(yīng)用需要選擇適合的 Analyzer。Analyzer 把分詞后的內(nèi)容交給IndexWriter 來(lái)建立索引。

<3> MaxFieldLength，用于限制Field的大小。這個(gè)變量可以讓用戶有計(jì)劃地對(duì)大文檔Field進(jìn)行截取。假如取值為10000，就只索引每個(gè) Field的前10000個(gè)Term（關(guān)鍵字）。也就是說(shuō)每個(gè)Field中只有前10000個(gè)Term（關(guān)鍵字）建立索引，除此之外的部分都不會(huì)被 Lucene索引，當(dāng)然也不能被搜索到。

* 相關(guān)參數(shù)說(shuō)明

<1> Document，是用來(lái)描述Lucene文檔結(jié)構(gòu)的。任何需要進(jìn)行索引的數(shù)據(jù)都必須轉(zhuǎn)化成Document對(duì)象。Document是索引和搜索的最基本單元，是一組Field的集合。

<2> Field，組成Document的元素，用來(lái)描述一個(gè)文檔的某個(gè)屬性的，比如一封電子郵件的標(biāo)題和內(nèi)容可以用兩個(gè)Field對(duì)象分別描述。Field是 由name和value組成的，value只接受字符串（非字符串類型要先轉(zhuǎn)換成字符串才行）。在構(gòu)造Field時(shí)要指定Store和Index。

??? Field.Store，指定Field是否或怎樣存儲(chǔ)。
?? Store.NO，不存儲(chǔ)。
?? Store.YES，存儲(chǔ)。
?? Store.COMPRESS，壓縮后存儲(chǔ)（數(shù)據(jù)量很大的時(shí)候可以使用，但要考慮效率）。

??? Field.Index，指定Field是否或怎么被索引。
?? Index.NO，不索引（不索引就不能被搜索到）。
?? Index.ANALYZED，（以前版本中為TOKENIZED），分詞后索引。
?? Index.NOT_ANALYZED，(以前版本中為UN_TOKENIZED），不分詞，直接索引（把整個(gè)Field做為一個(gè)term）。

注意：當(dāng)完成了索引操作后，一定要調(diào)用IndexWriter.close()方法。

IndexWriter.deleteDocuments(Term term);

會(huì)刪除索引文件里含有指定Term的所有Document。Term，是搜索的基本單位。代表某個(gè)Field中出現(xiàn)的某個(gè)關(guān)鍵字。?

IndexWriter.updateDocument(Term term, Document doc);

實(shí)際上是先刪除再創(chuàng)建索引，就是說(shuō)如果有多條符合條件的Document，更新后只有一條。

使用類IndexSearcher。查詢方法為：

IndexSearcher.search(Query, Filter, int);

相關(guān)參數(shù)說(shuō)明：
<1> Query，查詢對(duì)象，把用戶輸入的查詢字符串封裝成Lucene能夠識(shí)別的Query。
<2> Filter，用來(lái)過(guò)慮搜索結(jié)果。
<2> 第三個(gè)參數(shù)（int類型），最多返回的Document的數(shù)量。
返回的是一個(gè)TopDocs類型，調(diào)用TopDocs.scoreDocs得到查詢結(jié)果。

ScoreDoc.doc返回文檔的內(nèi)部編號(hào)。
IndexSearcher.doc(hits[i].doc) 通過(guò)編號(hào)，拿到文檔。

Query可以用QueryParser解析查詢字符串生成。使用構(gòu)造方法為QueryParser(String defaultFieldName, Analyzer a)，第一個(gè)參數(shù)為默認(rèn)查詢的Field，第二個(gè)參數(shù)為使用的分詞器（這里用的分詞器要和建立索引時(shí)用的分詞器一致，否則可能會(huì)搜索不到結(jié)果）。使用parse(String)方法解析查詢內(nèi)容。

相關(guān)代碼：

List<Document> docs = new ArrayList<Document>();
?IndexSearcher indexSearcher = null;
?try {
??indexSearcher = new IndexSearcher(dir);

???Filter filter = null;
??int nDocs = 10000;

???TopDocs topDocs = indexSearcher.search(query, filter, nDocs);
??System.out.println("共有【" + topDocs.totalHits + "】條匹配記錄");

???for (int i = 0; i < topDocs.totalHits; i++) {
???ScoreDoc scoreDoc = topDocs.scoreDocs[i];
???int docNum = scoreDoc.doc; // 文檔在索引庫(kù)中的編號(hào)
????Document doc = indexSearcher.doc(docNum); // 通過(guò)編號(hào)取出相應(yīng)的文檔

????docs.add(doc);
??}

???return new SearchResult(topDocs.totalHits, docs);
?} catch (Exception e) {
??throw new RuntimeException(e);
?} finally {
??try {
???indexSearcher.close();
??} catch (IOException e) {
???e.printStackTrace();
??}
?}

8. 下面是對(duì)一些重要的類及術(shù)語(yǔ)進(jìn)行解釋：

<1> Directory，有兩個(gè)：
a) FSDirectory，將索引放到磁盤中。
b) RAMDirectory，將索引放到內(nèi)存中。速度快，但是在jvm退出之后，內(nèi)存中的索引就不存在了。可以在jvm退出之前調(diào)用另一個(gè)使用FSDirectory的IndexWriter 把內(nèi)存中的索引轉(zhuǎn)存到文件系統(tǒng)中。
?? 相應(yīng)的API為IndexWriter.addIndexesNoOptimize(Directory[])，注意這個(gè)調(diào)用代碼要放在內(nèi)存中索引的操作 RAMDirectory的IndexWriter關(guān)閉后，以便所有的document都進(jìn)入RAMDirectory。在創(chuàng)建RAMDirectory 的實(shí)例時(shí)，可以使用無(wú)參的構(gòu)造方法，或是有一個(gè)參數(shù)的構(gòu)造方法：可以指定一個(gè)文件路徑，以便加載磁盤中的索引到內(nèi)存中。
<2> 相關(guān)度排序，Lucene的搜索結(jié)果默認(rèn)按相關(guān)度排序的，所謂相關(guān)度，就是文檔的得分。Lucene有一個(gè)評(píng)分機(jī)制，就是對(duì)檢索結(jié)果按某種標(biāo)準(zhǔn)進(jìn)行評(píng)估，然后按分值的高低來(lái)對(duì)結(jié)果進(jìn)行排序。

? a) 文檔的得分與用戶輸入的關(guān)鍵字有關(guān)系，而且是實(shí)時(shí)運(yùn)算的結(jié)果。得分會(huì)受關(guān)鍵字在文檔中出現(xiàn)的位置與次數(shù)等的影響。

? b) 可以利用Boost影響Lucene查詢結(jié)果的排序，通過(guò)設(shè)置Document的Boost來(lái)影響文檔的權(quán)重，以達(dá)到控制查詢結(jié)果順序的目的：Document.setBoost(float)。默認(rèn)值為1f，值越大，得分越高。

? c) 也可以在查詢時(shí)給Filed指定boost。當(dāng)同樣的term屬于不同的field時(shí)，如果field的boost不一樣，其所屬的文件的得分也不一樣。
<3> Analyzer，分詞器，對(duì)文本資源進(jìn)行切分，將文本按規(guī)則切分為一個(gè)個(gè)可以進(jìn)行索引的最小單位（關(guān)鍵字）。

??? 對(duì)于英文的分詞，是按照標(biāo)點(diǎn)、空白等拆分單詞，比較簡(jiǎn)單；而中文的分詞就比較復(fù)雜了，如”中華人民共和國(guó)“可以分為”中華”、“人民”、“共和國(guó)”，但不應(yīng)有“華人”這個(gè)詞（不符合語(yǔ)義）。

??? 中文分詞幾種常用的方式：
a) 單字分詞，就是按照中文一個(gè)字一個(gè)字地進(jìn)行分詞。如：我們是中國(guó)人，效果：我\們\是\中\(zhòng)國(guó)\人。（StandardAnalyzer就是這樣）。
b) 二分法：按兩個(gè)字進(jìn)行切分。如：我們是中國(guó)人，效果：我們\們是\是中\(zhòng)中國(guó)\國(guó)人。（CJKAnalyzer就是這樣）。
c) 詞庫(kù)分詞：按某種算法構(gòu)造詞然后去匹配已建好的詞庫(kù)集合，如果匹配到就切分出來(lái)成為詞語(yǔ)。通常詞庫(kù)分詞被認(rèn)為是最理想的中文分詞算法如：我們是中國(guó)人，效果為：我們\是\中國(guó)\中國(guó)人。
<4> Highlighter，高亮器，用于高亮顯示匹配的關(guān)鍵字。
包含三個(gè)主要部分:
1) 格式化器：Formatter（使用SimpleHTMLFormatter，在構(gòu)造時(shí)指定前綴和后綴）。
2) 計(jì)分器：Scorer（使用QueryScorer）。
3) 段劃分器：Fragmenter（使用SimpleFragmenter，在構(gòu)造時(shí)指定關(guān)鍵字所在的內(nèi)容片段的長(zhǎng)度）。

通過(guò)方法getBestFragment(Analyzer a, String fieldName,String text)實(shí)現(xiàn)高亮。（如果進(jìn)行高亮的field中沒(méi)有出現(xiàn)關(guān)鍵字，返回null）。
<5> 查詢，有兩種方式：通過(guò)Query Parser解析查詢字符串或使用API構(gòu)建查詢。
使用Query Parser時(shí)不匹分大小寫。以下是常用的查詢：

? 1) TermQuery，按Term（關(guān)鍵字）查詢（term的值應(yīng)是最終的關(guān)鍵字，英文應(yīng)全部小寫）。
? TermQuery(Term t)；
? syntax: propertyName:keyword；

? 2) RangeQuery，指定范圍查詢。
? RangeQuery(Term lowerTerm, Term upperTerm, boolean inclusive)；
?? syntax: propertyName:[lower TO upper] （包含lower和upper）；
? syntax: propertyName:{lower TO upper} （不包含lower和upper）；

? 3) PrefixQuery，前綴查詢。
? PrefixQuery(Term prefix)；
? syntax：propertyName:prefix*；

? 4) WildcardQuery，通配符查詢，可以使用"?"代表一個(gè)字符，"*"代表0個(gè)或多個(gè)字符。（通配符不能出現(xiàn)在第一個(gè)位置上）
? WildcardQuery(Term term)；
? syntax: propertyName:chars*chars?chars

? 5) MultiFieldQueryParser，在多個(gè)Field中查詢。
? queryParser = MultiFieldQueryParser(String[] fields, Analyzer analyzer);
? Query query = parse(String query);??
? 6) BooleanQuery，布爾查詢。這個(gè)是一個(gè)組合的Query，可以把各種Query添加進(jìn)去并標(biāo)明他們的邏輯關(guān)系。
? TermQuery q1 = new TermQuery(new Term("title","javadoc"));
? TermQuery q2 = new TermQuery(new Term("content","term"));
? BooleanQuery boolQuery = new BooleanQuery();
? boolQuery.add(q1, Occur.MUST);
? boolQuery.add(q2, Occur.MUST_NOT);
? Occur.MUST，必須出現(xiàn)。
? Occur.MUST_NOT，必須未出現(xiàn)。
? Occur.SHOULD，只有一個(gè)SHOULD時(shí)為必須出現(xiàn)，多于一個(gè)時(shí)為或的關(guān)系。

?? syntax: + - AND NOT OR （必須為大寫）。