TREC
TREC
TREC(Text Retrieval Conference),文本檢索會議。
它是文本檢索領域人氣最旺、最權威的評測會議,由美國國防部高等研究計劃署(Defense Advanced Research Projects Agency,簡稱DARPA)與美國國家標準和技術局(National Institute of Standards and Technology,簡稱NIST)聯合主辦。自從1991年舉辦第一屆會議起,每年的參與者包括MIT、Stanford、UCB、北京大學、微軟研究院、Google、IBM研究院、新加坡國立大學、台灣大學、清華大學、上海交通大學、加拿大Quenes大學、日本東京大學、香港中文大學、英國城市大學等當今IT界一流學府和企業科研機構,並且在不斷增加。該會議細分為幾大主要方向:問題回答(QA)、特定領域檢索(Legal、Genomics、Enterprise、Blog)、傳統Web檢索等。會議負責組織收集並向與會者提供標準的語料庫(Corpus)、檢索條件和問題集(Query Set)、以及評測辦法(Evaluation),與會者則被要求在規定的時間內構造檢索系統並提交檢索結果(Runs),由會議負責評測各個檢索結果的優劣,最終依據評測結果召開大會進行學術交流,發表會議論文。
主要時間點:
2月:召集報名參加當年的評測會議
5、6月:發布語料庫(Corpus)、問題集(Query Set)、評測方法。
7、8月:收集與會者的檢索結果(Runs)。
9月:會議主辦方評測各檢索結果,與會者提交會議論文初稿、演講稿、Poster&Booster申請。
10月:發布評測結果,發布演講稿是否被採納的反饋。
11月:發布會議論文集,召開學術交流會議,與會者確定最終版會議論文。
次年6月:會議論文集最終出版。
會議召開地點:Gaithersburg, Washington D.C., USA。
1.通過提供大型的語料庫、統一的測試程序及系統整理評測的結果數據,來促進信息檢索技術的發展;
2.強調檢索技術的先進性與實用性的有機結合。
3.倡導以大規模數據為基礎的信息檢索研究。
4.為學術界、工業界、政府部門等提供交流研究思想的公開論壇,促進各部門之間的合作與交流。
5.便於從實驗室研究成果到商品化產品的技術轉換。
年份 | TREC屆次 | 評測項目數 | 參與系統數 | 國家地區數 |
1992 | TREC-1 | 2 | 22 | * |
1993 | TREC-2 | 2 | 31 | * |
1994 | TREC-3 | 4 | 33 | * |
1995 | TREC-4 | 7 | 36 | * |
1996 | TREC-5 | 9 | 38 | 9 |
1997 | TREC-6 | 8 | 51 | 6 |
1998 | TREC-7 | 8 | 56 | * |
1999 | TREC-8 | 9 | 66 | 16 |
2000 | TREC-9 | 7 | 69 | 17 |
2001 | TREC-10 | 6 | 87 | 21 |
2002 | TREC-11 | 7 | 93 | 21 |
2003 | TREC-12 | 6 | 93 | 22 |