精準搜索

其主要特色在於：

* 可以按照任意指定欄位的排序，支持指定欄位的搜索，也可以搜索多個欄位，以及複雜表達式的綜合搜索；

* 支持精確匹配以及模糊匹配，默認為精確匹配，忽略字母大小寫進行模糊匹配；

* 實現的是多線程搜索服務；

* 每秒可索引3000條記錄（主要瓶頸為資料庫或文件記錄的讀取效率）；搜索速度在毫秒級別。

* 兼容當前所有廠商的資料庫系統，其中SQL Server, Oracle, MySQL，DB2等。

（1）索引初始化操作

#ifndef CODE_LIMIT

LJSEARCHAPI_API bool LJIndexer_Init(const char *sDictFilename=0,const char *sFieldInfoFile=0);

#else

LJSEARCHAPI_API bool LJIndexer_Init(const char *sDictFilename=0,const char *sFieldInfoFile=0,const char *sLicenseCodes=0);

#endif

（2）多欄位定義操作

#define FIELD_TYPE_TEXT 1 //文本類型

#define FIELD_TYPE_INT 2 //整型數

#define FIELD_TYPE_LONG 3 //長整型數

#define FIELD_TYPE_DATETIME 4 //日期類型

FIELD_TYPE_TEXT

* //FIELD_TYPE_INT

* //FIELD_TYPE_LONG

* //FIELD_TYPE_DATETIME

* bIndexed:是否需要索引

* bRetrieved:搜索結果中是否要輸出該欄位內容

* bGeneral:是否納入通配搜索的範疇

* Returns : success or fail

* Author : 靈玖軟體

* History :

*********************************************************************/

LJSEARCHAPI_API bool LJIndexer_FieldAdd(const char *sFieldName,const char *sDBFieldName,int nFieldType,bool bIndexed,bool bRetrieved,bool bGeneral=false);

LJSEARCHAPI_API bool LJIndexer_FieldSave(const char *sFieldInfoDataFile);

LJSEARCHAPI_API bool LJIndexer_FieldLoad(const char *sFieldInfoDataFile);

（3）索引系統退出

LJSEARCHAPI_API bool LJIndexer_Exit();

（4）索引合併操作

LJSEARCHAPI_API bool LJIndexer_Merge(const char *sIndexFile1,const char *sIndexFile2,const char *sIndexMerged);

（5）索引類操作

//

class LJSEARCHAPI_API CLJIndexer {

public:

CLJIndexer(int nMaxMemSize=512000000);

//內存大小控制

~CLJIndexer(void);

// TODO: add your methods here.

int MemIndexing(const char *pText,int doc_id,const char *sFieldName=0,int nMemSize=0);

//索引一段內存；

//pText:待索引的內存塊指針

//doc_id由應用程序維護，

//sFieldName：欄位名稱，為空則表示無欄位信息，則該索引不支持多欄位索引與檢索

//nMemSize:指的是pText內存塊的大小，默認為0，需要系統通過strlen自行計算內存大小

int FileIndexing(const char *sTextFilename,int doc_id,const char *sFieldName=0);

//索引一個文本文件

//sTextFilename:文本文件名

//doc_id由應用程序維護

//sFieldName：欄位名稱，為空則表示無欄位信息

int IdIndexing(int term_id,int doc_id,const char *sFieldName=0);

//詞ID索引

//term_id:詞ID

//doc_id由應用程序維護

//sFieldName：欄位名稱，為空則表示無欄位信息

bool Save(const char *sIndexFile);

//索引保存的名稱

//一般都選擇在索引建立全部完成後，調用。

private://以下部分為系統使用，應用開發者不要改寫，只能讀取數據

int m_nHandle;//索引器的Handle，無需調用申請

};

（1）搜索的排序選項

#define SORT_TYPE_DOCID 1//按照Doc ID排序，默認方式

#define SORT_TYPE_RELEVANCE 2//按照相關度排序

（2）搜索的初始化設置

#ifndef CODE_LIMIT

LJSEARCHAPI_API bool LJSearch_Init(const char *sIndexFile,const char *sDictFilename=0,const char *sFieldInfoFile=0);

#else

LJSEARCHAPI_API bool LJSearch_Init(const char *sIndexFile,const char *sDictFilename=0,const char *sFieldInfoFile=0,const char *sLicenseCodes=0);

#endif

（3）搜索系統的退出

LJSEARCHAPI_API bool LJSearch_Exit();

//系統退出

（4）搜索結果的內存存儲格式

typedef struct tRESULT_RECORD {//搜索結果結構，用於檢索計算使用

int doc_id;

int offset;//在域欄位內的偏移量

double score;//排序用的打分

}RESULT_RECORD;

typedef RESULT_RECORD * RESULT_RECORD_VECTOR;

（5）搜索類

//

class LJSEARCHAPI_API CLJSearcher{

public:

CLJSearcher(int sort_type=SORT_TYPE_DOCID);

~CLJSearcher(void);

// TODO: add your methods here.

void Search(const char *query_line,int nStart,int nPageCount,const char *sResultName);

//query_line: 查詢表達式

//nStart:記錄起始地址

//nPageCount：當前頁返回結果數目

//nPageCount=-1:當前頁需要返回所有的結果數目

//sResultName：結果存儲的XML地址

const RESULT_RECORD_VECTOR CLJSearcher::Search(const char *query_line,int *p_nResultCountRet);

//query_line: 查詢表達式

//p_nResultCountRet:搜索結果總數

private://以下部分為系統使用，應用開發者不要改寫，只能讀取數據

int m_nHandle;

int m_nSortType;//排序方法編號

};

//////////////////////////////////////////////////////////////////////////

//

// 以下部分為索引建立的API調用示例

//

//////////////////////////////////////////////////////////////////////////

//索引初始化

LJIndexer_Init("E:/LJSearch20/Data/dictionary.pdat",NULL,"LingjoinICTCLAS2010*~!@#$%&&%$#@!~*");

//設置欄位信息

LJIndexer_FieldAdd("title",NULL,FIELD_TYPE_TEXT,true,true,true);

//對標題建索引，需要搜索

LJIndexer_FieldAdd("content",NULL,FIELD_TYPE_TEXT,true,true,true);

//對內容建索引，需要搜索

LJIndexer_FieldSave("FieldInfo.dat");

//保存欄位信息

CLJIndexer *pIndexer=new CLJIndexer();

//對文檔列表進行索引

for (int doc_id=0;doc_id

{//索引一個文件，注意：vecFileList存儲的是文件名向量

pIndexer->MemIndexing(vecFileList[doc_id].c_str(),doc_id,"title");

//對文件標題進行索引

printf("Indexing %s title completed!\n",vecFileList[doc_id].c_str());

pIndexer->FileIndexing(vecFileList[doc_id].c_str(),doc_id,"content");

//對文件內容進行索引

printf("Indexing %s content completed!\n",vecFileList[doc_id].c_str());

}

pIndexer->Save("Test0430test");//保存索引結果

delete pIndexer;//索引完成，釋放空間

LJIndexer_Exit();//退出索引系統

搜索系統程序

---

LJSearch_Init("Test0430test","E:/LJSearch20/Data/dictionary.pdat","FieldInfo.dat","LingjoinICTCLAS2010*~!@#$%&&%$#@!~*");

//搜索系統初始化

CLJSearcher *pSearcher=new CLJSearcher(SORT_TYPE_RELEVANCE);//按照相關度排序

//申請搜索類

int nRecordCount=0;

RESULT_RECORD_VECTOR pResult =0;

int nLen;

char *pQueryString,*sLine;

sLine=new char[100];

strcpy(sLine,"[FIELD] content [AND] 解放軍 張雁靈");//甲型H1N1流感

//Sample1: [FIELD] title [AND] 解放軍

//Sample2: [FIELD] title [AND] 甲流

//Sample3: [FIELD] title [AND] 解放軍 甲流

//Sample4: [FIELD] title [OR] 解放軍 甲流

//Sample5: [FIELD] title [AND] 解放軍 [FIELD] title [NOT] 甲流

//Sample6: "[FIELD] content [AND] 解放軍 張雁靈 [FIELD] title [AND] 解放軍"

//Sample7: "[FIELD] content [AND] 解放軍 張雁靈 [FIELD] title [AND] 解放軍"

//Sample8: [FIELD] title [AND] 解放軍某部發生數百人感染甲流疫情

//Sample9: [FIELD] title [AND] 解放軍某部發生數百人感染甲流疫情

//Sample10: [FIELD] content [AND] 甲型H1N1流感

//Sample11: [FIELD] content [NEAR] 張雁靈 解放軍

//Sample12: [FIELD] content [AND] 解放軍 [FIELD] content [NOT] 張雁靈

int nSize=0;

pQueryString=sLine;

pResult=pSearcher->Search(pQueryString,&nRecordCount);

//搜索pQuerySearch，結果總數存在nRecordCount內，搜索結果數組指針存儲在pResult

printf("Query=%s, Search Result Count=%d, list as follows:\n",pQueryString,nRecordCount);

//逐個輸出搜索結果

for (int i=0;i

{

printf("No.%d:doc_id=%d===%s[%d] score=%f\n",

i,

pResult[i].doc_id,

vecFileList[pResult[i].doc_id].c_str(),

pResult[i].offset,

pResult[i].score

);

}

delete pSearcher;//釋放搜索類

delete sLine;

LJSearch_Exit();//退出搜索系統