學術評價

學術評價

學術評價實際上就是要將學術研究成果排排座吃果果,分成三六九等。學術評價的基本方法有兩種,一是基於內容的學術評價,即基於學術發展的內在規律和學科本身的邏輯結構的評價方法;另一種是基於形式的評價方法,即遊離於學術研究之外,客觀描述學術研究成果的外在特徵和學術成果之間的形式聯繫,從而描繪出學術研究的形式化圖景,從而達到學術評估的目的。這來兩種方法顯然有主次之分,但又是相輔相成的,基於內容的評價顯然是一種最符合邏輯的評價,形式化評價本質上是基於內容分析的評價方法的一種工具和補充方法。

基於內容模式


概念

望文生義,基於內容的評價模式就是以學術成果的內容特徵來評價學術成果。顯然,基於內容的評價模式是最符合邏輯的學術評價方式。基於內容的評價模式的先決條件是評價人應該能夠讀懂和理解學術成果的內容,應該對相關的學術領域有深刻地了解和非凡的洞察力。而要滿足這樣的條件,評價人非該領域的專家莫屬。所以,基於內容的學術評價本質上就是專家評價,或同行評價。許多學術刊物採用的專家審稿就是一種典型的基於內容的學術評價方式。

典型模式

在各種基於內容的學術評價方法中,最典型的評價模式是學術綜述,這是學術評價的最好方法。某一學科里的專家將近期這個領域裡的研究情況作一總結,分析出某一時期本學科的重要進展和未來發展趨勢,顯而易見,這本身也是一種學術研究。學術綜述之所以是最好的評價方法,其原因有兩條:
一是,寫綜述的學者本身就是這個領域的研究者,甚至是領先的研究者,他們對所討論的研究課題有比較深刻的理解,具有比較敏銳的學術洞察力。
二是,學術綜述是基於研究內容的評估,遵循的是學科本身的內在邏輯和研究範式,可以比較準確地描述出該學科研究的現狀和發展趨勢,由此可以比較準確地對學術研究成果作出評價。
另外,學術綜述的目的是回顧學術研究本身的發展歷程,描述學術研究的現狀和預期未來的發展方向,從目的上講,學術綜述的評價目的比較學術化,比較單純,這樣就使得學術綜述更加客觀,並確保綜述的價值中立。所以,學術綜述是一種比較好的學術評價方式。

局限性

基於內容的評價是最符合邏輯的學術評價方法,其本質是同行評議。但是,這種方法也具有一定的局限性,主要體現在這種評價方法往往受到評議人主觀因素的影響。基於內容的評價主要依託在評價人對內容的理解,這往往受制於評價人學識、興趣、情感等等個人因素的影響。這些因素會降低學術評價的準確性、公正性。為了盡量降低這種主觀因素的影響,基於內容的評價往往需要多個評價人從不同的方面進行評價,就像一篇論文會有若干個專家評審一樣,這樣會有效降低主觀因素對學術評價所產生的負面影響

基於形式模式


概念

基於形式的學術評價和基於內容的評價方法相反,它主要利用學術研究成果的客觀性參量來描述學術成果的客觀特徵及其與其他成果之間的相關關係,從而達到評價的目的。這些客觀性參量主要包括三個方面:數量參量,聚類參量和關聯參量。

數量參量

數量參量描述了學術成果的數量特徵,即同一個研究者的相關研究成果的數量。這裡需要強調的是相關研究成果。相關研究成果是指和評價目標相關的研究成果,比如,我們的評價目標是這位研究人員總體的研究水平,那麼相關就是指這位研究人員和從事研究的成果,這要是研究成果,都是相關的。如果評價的是這位研究人員在某一領域的研究成果,比如說,數字圖書館,那麼其相關性就是其所有和數字圖書館行館的研究成果,顯然,他關於讀者學的研究成果就不相關了。數量特徵描述了該研究者的研究經驗。如果我們評價一項成果,那麼通過數量特徵,我們可以估計該研究成果的研究者在這個領域中的研究經驗,這項成果是一個在相關領域研究多年,並有多項成果,具有豐富研究經驗的的研究者,還是初次涉足該領域的研究者。如果評價一個學者的研究水平,那麼數量特徵可以描述該研究者的總體研究經驗。

聚類性參量

所謂聚類關係指的是學術成果是否聚類於相關的研究成果,這項指標描述了學術成果被同行認可的程度。布拉德福定律告訴我們,學術文獻的分佈具有聚類分佈的特徵,如果說學術文獻是學術成果的表現形式,那麼,學術成果研究也具有聚類的特徵。學術成果的聚類特徵就是指該項學術成果是否能夠發表在專業性學術雜誌上。比如,圖書館學的論文發表在語文雜誌上,其聚類特徵顯然是很低的,因為語文雜誌的論文主要是語言文字方面的,其目的是交流語言文字方面的學術研究成果,而不是圖書館方面的研究成果,其學術評價機制和圖書館學研究的評價機制有很大的不同,讀者對象也大相徑庭,這篇文章很難和語文雜誌其它文章聚類。所以,我們可以假設,學術成果發表在越專業的學術期刊上,其聚類性特徵就越強。根據布拉德福定律,一個專業領域的學術期刊可分為核心期刊和非核心期刊,顯然,發表在核心期刊上的專業研究成果,其聚類性要強於發表在非核心期刊上的成果。

相關性參量

相關關係是指學術研究成果與其他研究成果的相關關係, 這個參數描述了該項研究成果對其他研究成果的影響,即描述了這項成果的影響力。我們知道,學術研究不是閉門造車,也不是腦袋一拍的事情,而是在別人研究的基礎上不斷地延伸發展起來的,正如牛頓所說,是站在巨人的肩膀上的。任何學術研究都離不開別人的研究成果,但是,一個學術研究成果卻不一定能夠成為別人進一步探索的基礎。其原因主要是:
1)該項研究成果缺乏新穎性,不是一個前沿性的研究成果,自然不能成為進一步探索的出發點。
2)該項成果缺乏啟發性,不能引起其他學者的關注和進一步研究的興趣。
3)該項成果有遊離於學術界的研究興趣之外,或者說,該項成果不被學術界認為是值得研究的。
4)該項研究成果遊離於學術界的研究範式之外,比如很多民間科學家的研究。
5)該項研究成果是無意義的和無價值的。
反過來說,如果一個學術研究成果和其他研究成果有密切的相關關係,那麼至少可以說,這樣成果是為學術界認可的。
研究成果的相關性指標主要是通過研究論文的引文特徵表徵出來的。我們知道,一個符合學術規範的研究論文總有引文部分來指示該論文和其他論文的邏輯關係,這是現代學術研究的基本範式。通過引文關係我們可以清楚地描繪出一個研究成果的相關性脈絡:兩個基本面和兩個維度。
兩個基本面
第一,該研究成果與以前的研究成果的相關性,表現為該成果引證先前的相關研究成果,即引用率指標。一個研究成果如果沒有引文,其學術性會引起非常大的爭議,進一步而言,如果一個研究成果引證的是相關研究非主流的研究成果,而沒有印證主流研究成果,那麼這個研究成果的價值也是可疑惑的。所以,我看論文首先看引文,如果該論文的引文的質量不高,我自然會懷疑該作者是否認真研讀過相關領域裡的重要論文,進而懷疑該論文的質量。
第二,該研究成果與以後的研究成果的相關性,表現為該成果被別的成果引證的情況,即為被引率指標。一般說來,被別的成果引用得越多,說明這個成果可能具有越強的新穎性,啟發性,越能說明該項成果能夠成為進一步研究的出發點,具有較高的學術價值。一個學者,如果其研究成果被別人廣泛引用,那麼可以認為這個學者對學術的發展有比較大的貢獻。當然如果一個研究成果完全是錯的,其被引率也會很高,比如時下一本《道德經淺釋》被廣泛批評,並不說明該成果具有很高的學術價值,而是說明該成果具有很高的荒謬性。所以,被引率往往要和內容評價結合在一起,才能客觀地描述出研究成果的價值。
兩個維度
第一是歷時性維度。歷時性維度有兩個時間方向:前向性和後向性。
前向性是指該項成果和以前已完成的研究成果的相關性。任何學術研究都如牛頓所說的,是站在巨人的肩膀上的,都是在前人的研究基礎上進一步探索的結果。所以,一個學術成果和前人的研究成果的相關關係,顯然可以作為判斷該成果價值的依據。我們可以通過該成果的前向時間維度,來評估該項研究是不是建立在前人研究基礎上的進一步探索,還是重複別人已有的成果。研究成果的前向歷時性可以通過該成果的論文中的引文表現出來,我們可以通過這項成果引證他人的研究成果的情況來判斷這項成果的新穎性,可以判斷這項成果是否站在前人已有的研究成果上繼續探索,可以判斷該作者是否做了全面的文獻綜述。
後向性是指該成果對以後的研究是否具有參考價值。我們知道,學術成果是有生命周期的,學術生命周期主要是指該項研究成果對以後學術研究成果具有參考價值的時間長度,也就是說,該成果發表后多少時間內,能夠持續地對後續的研究產生影響。一些成果的生命周期長些,甚至長至百年;一些的短些,可能發表出來就結束了。學術成果的生命周期造就了學術相關性評價的理論基礎之一。學術成果生命的最好度量是通過引文實現的,舉例說來,一篇論文發表后的5年內被其他論文持續大量引證,以後逐漸減少,直到沒有,這一個時間周期就表徵了該學術成果的生命周期,也時描述該成果語其他成果相關性歷時性特徵的重要依據。學術成果的生命周期是非常容易定量估算的,但是怎樣估算,據我了解目前還沒有很好的估算公式,我們圖書館界研究這個問題具得天獨厚的條件,我們不妨試著研究一下。特別是葉鷹教授搞的抽象圖書館學是不是能在這方面找到應用價值?猜想一下。
第二是共時性緯度,這個維度表徵了該成果和同時期的研究成果的相關性,這個維度同樣由來個時間方向,前向性和後向性。共時性可以通過該研究成果最近的引證別人的論文和別人引用該成果的引文來表徵出來,例如,該成果最新的一篇引文是半年前的成果,發表后第一篇被引的論文發表於半年後,那麼其共時性特徵前向性是半年,後向性也是半年。顯然,共時性維度是表徵研究成果新穎性和重要性的重要描述指標。