TREC

TREC

TREC(Text Retrieval Conference),文本檢索會議。

基本信息


它是文本檢索領域人氣最旺、最權威的評測會議,由美國國防部高等研究計劃署(Defense Advanced Research Projects Agency,簡稱DARPA)與美國國家標準和技術局(National Institute of Standards and Technology,簡稱NIST)聯合主辦。自從1991年舉辦第一屆會議起,每年的參與者包括MIT、Stanford、UCB、北京大學、微軟研究院、Google、IBM研究院、新加坡國立大學、台灣大學、清華大學上海交通大學、加拿大Quenes大學、日本東京大學、香港中文大學、英國城市大學等當今IT界一流學府和企業科研機構,並且在不斷增加。該會議細分為幾大主要方向:問題回答(QA)、特定領域檢索(Legal、Genomics、Enterprise、Blog)、傳統Web檢索等。會議負責組織收集並向與會者提供標準的語料庫(Corpus)、檢索條件和問題集(Query Set)、以及評測辦法(Evaluation),與會者則被要求在規定的時間內構造檢索系統並提交檢索結果(Runs),由會議負責評測各個檢索結果的優劣,最終依據評測結果召開大會進行學術交流,發表會議論文。
主要時間點:
2月:召集報名參加當年的評測會議
5、6月:發布語料庫(Corpus)、問題集(Query Set)、評測方法。
7、8月:收集與會者的檢索結果(Runs)。
9月:會議主辦方評測各檢索結果,與會者提交會議論文初稿、演講稿、Poster&Booster申請。
10月:發布評測結果,發布演講稿是否被採納的反饋。
11月:發布會議論文集,召開學術交流會議,與會者確定最終版會議論文。
次年6月:會議論文集最終出版。
會議召開地點:Gaithersburg, Washington D.C., USA。

目標


1.通過提供大型的語料庫、統一的測試程序及系統整理評測的結果數據,來促進信息檢索技術的發展;
2.強調檢索技術的先進性與實用性的有機結合。
3.倡導以大規模數據為基礎的信息檢索研究。
4.為學術界、工業界、政府部門等提供交流研究思想的公開論壇,促進各部門之間的合作與交流。
5.便於從實驗室研究成果到商品化產品的技術轉換。

參評信息


年份TREC屆次評測項目數參與系統數國家地區數
1992TREC-1222*
1993TREC-2231*
1994TREC-3433*
1995TREC-4736*
1996TREC-59389
1997TREC-68516
1998TREC-7856*
1999TREC-896616
2000TREC-976917
2001TREC-1068721
2002TREC-1179321
2003TREC-1269322