問答系統

早在計算機誕生不久的1950年，Alan Turing就提出了著名的圖靈測試。該測試的目的並不是為了獲取信息，而是用於測試計算機是否具有智能，但是過程是相似的。圖靈測試是把計算機和人都藏在用戶看不見的地方，用戶提出一系列的詢問，計算機或者人給出問題的解答，如果用戶分不清是人在回答還是計算機在回答問題，那麼該計算機就具有了智能。為了鼓勵進行圖靈測試的研究，1991年Hugh Loebner設立了一個Loebner Prize，獎金10萬美元，用於獎勵第一個通過圖靈測試的系統，遺憾的是，迄今為止，尚沒有個人或者組織能夠獲此殊榮。除了大獎以外，比賽還每年拿出2000美元獎勵當年表現最出色的系統。十多年來，出現了PC Therapist，Albert等優秀的聊天機器人系統，它們提出的一些技術，很值得開放域問答系統所借鑒。

早期還有一些基於知識庫的問答系統研究(Hendfix et a1． 1978，Woods 1973)，包括基於本體的問答系統，受限語言的資料庫查詢系統，問答式專家系統等。這些系統雖然能在特定的領域中達到比較好的性能，但是它們大多是受限的。首先是語言受限，即只能使用少數幾種問題語言模式，一旦採用比較隨意的語言，質量就會明顯下降。其次是知識受限，一般只能夠回答某一個特定領域中的專業性問題。

為了推動開放域問答系統的發展，信息檢索評測組織(Text REtrieval Conferenee，TREC)自1999年開始，設立了開放域問答的評測任務，是TREC中歷時最長的評測任務。其他的一些著名評測組織(如NTCIR和CLEF)也設置了問答系統評測的任務。目前，關於問答系統的研究已在領域內受到強烈的關注。

自1999 年文本檢索會議( Text Retrieval Conference ,簡稱TREC) 引入問答系統評測專項(Question Answering Track ,簡稱QA Track) 后，人們對基於自然語言的問答系統再次產生了濃厚的興趣，在近些年的TREC 比賽中,QA Track 是最受關注的評測項目之一。

日語問答評測平台Question Answering Challenge (QAC) 是從2002 年開始的，每兩年舉辦一屆。自NTCIR-5開始，其CLQA專項中加入中文評測語料，但目前尚未見有簡體中文。

由IST Programme of the European Union 資助的Cross Language Evaluation Forum (CLEF) 在2003 年設立第一屆多語言問答系統評測(Multilingual Question Answering) 項目，並計劃每年舉辦一次。

不同的應用需要不同形式的問答系統，其所採用的語料和技術也不盡相同。相應地，可以從不同的角度對問答系統進行分類，比如根據應用領域、提供答案的語料、語料的格式等角度進行分類。

從涉及的應用領域進行分類，可將問答系統分為限定域問答系統和開放域問答系統。

限定域問答系統是指系統所能處理的問題只限定於某個領域或者某個內容範圍，比如只限定於醫學、化學或者某企業的業務領域等。例如BASEBALL、LUNAR、SHRDLU、GUS等都屬於限定域的問答系統。BASEBALL只能回答關於棒球比賽的問題，LUNAR只能回答關於月球岩石的化學數據的相關問題，SHRDLU只能回答和響應關於積木移動的問題等。由於系統要解決的問題限定於某個領域或者範圍，因此如果把系統所需要的全部領域知識都按照統一的方式表示成內部的結構化格式，則回答問題時就能比較容易地產生答案。

開放域問答系統不同於限定域問答系統，這類系統可回答的問題不限定於某個特定領域。在回答開放領域的問題時，需要一定的常識知識或者世界知識並具有語義詞典，如英文的WordNet在許多英文開放域問答系統中都會使用。此外，中文的WordNet、“同義詞詞林”等也常在開放域問答系統中使用。

按支持問答系統產生答案的文檔庫、知識庫，以及實現的技術分類，可分為自然語言的資料庫問答系統、對話式問答系統、閱讀理解系統、基於常用問題集的問答系統、基於知識庫的問答系統，以及基於大規模文檔集的問答系統。

中文問答系統相對於英文有如下幾個方面的難點或不足之處：

· 連寫：中文是連續書寫，分詞是漢語言處理的基礎。中文問答系統由於是句子級別的信息檢索，要分析句子，首先要分詞。

· 形態：漢語缺乏狹義的形態變化，如英文中的主動被動語態，完成時進行時等，形態對於計算機就是標記，有利於計算機的處理。

· 語法：漢語語法靈活，句子各成分之間的關係靠詞序、“意合”、虛詞，變化較多。

· 語義：一詞多義、同音詞、同義詞、近義詞等，以及豐富的表達方式，上下文依賴度高，省略語等都是計算機處理的難點。

· 語法研究：面向計算機處理的中文語法研究不足，如中文問答系統需要的關於中文句型形式化、不同句型之間的轉換的研究資料極少。

· 相關資源：缺乏包括語法、語義詞典等中文語言學資源和相關生熟語料，國外這方面強得多，如TREC就提供的相當數量的可用於英文問答研究和評測的語料。

中文問答系統需要在現有的中文信息處理技術基礎上，充分研究和利用問答的特性與需求，通過各種方法解決和克服(或暫時迴避)以上難點和困難，設計和開發問答系統。

問答系統主要應用於web形式的問答網站，代表作有：百度知道、新浪愛問、天涯問答、雅虎知識堂、果殼、知乎網等這些即問即答網站。