內容效度
測驗題目對內容範圍取樣的適當性
內容效度(Content validity)指測驗題目對有關內容或行為範圍取樣的適當性。成就測驗和熟練測驗特別注重這種效度。例如,在成就測驗中,測驗題目是根據教學大綱和教材內容適當抽出的,內容效度就是判斷測驗題目(內容)是否符合它欲測的目標。由於這種衡量效度的方法必須針對課程的目標和內容,以系統的邏輯方法詳細分析題目的性能,故又稱課程效度或邏輯效度。
一個測驗要具備較好的內容效度必須滿足兩個條件。
1.要確定好內容範圍,並使測驗的全部項目均在此範圍內。所謂內容範圍可以是具體知識或技能,也可以是複雜行為。成就測驗的主要目的在於測量學生的學習效果,因此特別重視內容效度。
2.測驗項目應是已界定的內容範圍的代表性樣本。換句話說,就是選出的項目能包含所測的內容範圍的主要方面,並且使各部分項目所佔比例適當。具體做法是對內容範圍進行系統分析,將該範圍劃分為具體綱目,並對每個綱目作適當加權,然後根據權重,從每個綱目中隨機取樣。
內容效度
確定測驗內容效度常用的方法是由專家對測驗項目與所涉及的內容範圍進行符合性判斷,這是一種定性分析的方法。對於成就測驗來說,學科專家要先對教學大綱或教材有全面了解,然後與測驗題目進行系統比較,看題目是否能代表所規定的內容。具體方法步驟如下:
①定義好內容總體,並描繪出有關知識與技能的輪廓;
②劃分細綱目,並根據重要性規劃好各個綱目的加權比例,作出儘可能詳細的描述;
③確定每道題所測的知識與技能,將自己的分類與測驗編製者的綱目作比較;
④制訂評定量表,從各方面對測驗作出評定。
2.複本法
克倫巴赫認為,內容效度可由一組被試在取自同樣內容範圍的兩個測驗複本上得分的相關來作數量上的估計。如果相關低則說明兩個測驗中至少有一個缺乏內容效度,但無法確定究竟哪一個缺乏內容效度。當相關高時,一般推論測驗具有內容效度,但也可能出現兩個測驗有相同偏差的情況。
3.再測法
先將測驗施測於被試,由於被試對測驗內容了解甚少,因而得分較低,然後對他們進行教學訓練,結束時再測一次,如果成績提高很大,則說明測驗對於教學具有較高的內容效度。
4.經驗法
不同的被試團體在測驗上的得分和對每題的反應存在較大差異,一般說,高年級比低年級的水平要高,如果總分和題目的通過率隨著年級而增高,則說明測驗對於教學具有內容效度。
作為一種方法,內容效度較為適合於評價教育成就測驗和職業選拔測驗。在這種測驗中,測驗內容應是知識、技能和實際工作的代表性樣本。內容效度不僅是評價教育成就測驗和職業選拔測驗的較好方法,而且也是編製任何測驗都應加以考慮的基本方面。內容效度對標準參照測驗更為重要,因為在標準參照測驗中主要關心的是被試對一定範圍內的知識、技能掌握得如何。
在實際應用中,內容效度容易與表面效度相混淆。所謂表面效度指的是外行人從表面上看測驗是否有效。表面效度不是效度的客觀指標,表面效度不能真正反映測量的有效程度,但是表面效度能影響被試的動機,從而影響測驗的效果。所以在編製測驗時,表面效度是一個必須考慮的問題。
內容效度既具有一定的優點,也有一定的局限。內容效度的主要缺點是缺乏可靠的數量指標,因而妨礙了各測驗間的相互比較。
在心理測驗中,信度:測量結果的可靠性和一致性。因為心理測驗通常測量人的行為,行為會由於各種各樣的原因,因時、因事、因地而產生變動,這些因素有些是偶然的,有些是固有的,人在完成心理測驗時的行為也會受上述因素的影響,從而使測驗結果與真實結果不完全一致,所以我們要用信度來衡量測驗的可靠性和一致性。
效度:正確性程度,即測量工具在多大程度上反映了我們想要測量的概念的真實含義,效度越高,即表示測量結果越能顯示出所要測量的對象的真正特徵。
信度與效度的關係
(1)信度低,效度不可能高。因為如果測量的數據不準確,也並不能有效地說明所研究的對象
(2)信度高,效度未必高。例如,如果我們準確地測量出某人的經濟收入,也未必能夠說明他的消費水平。
(3)效度低,信度很可能高。例如,即是一項研究未能說明社會流動的原因,但它很有可能很精確很可靠地調查各個時期各種類型的人的流動數量。
(4)效度高,信度也必然高。
結構效度與內容效度的關係是本質與形式的關係。結構效度總是通過特定形式下的內容效度實現的,內容效度總是被結構效度所根本決定,並表現著結構效度。
內容效度從知識間的內在聯繫出發,是以知識為本位分析效度的方法,反映的是測驗知識的有效性。對於學習者而言,掌握必要的知識也是很重要的,因此,注意測驗的內容效度有它合理性的一面。然而,學習者學習知識更為重要的目的是通過學習和掌握這些知識的過程,獲得並發展隱含在這些知識中的特質性的東西(例如,人文精神、科學精神、創造力、思想與方法論等),如果片面強調內容效度就可能導致被試在學習過程中重視知識本身而不重視自己發展,在學習中失去自我。
結構效度從隱含在建構這些知識聯繫背後的特質出發,從其界定和分析手段來看,結構效度是以被試發展所達到的當前水平為本位的,反映的是其特質(例如,人文精神、科學精神、創造力、思想與方法論等)的當前發展水平與命題者所期望特質水平的一致性。由於知識本身可能成為一種特質形態的表徵,而且某些特質與特定的知識領域密不可分,結構效度並不反對使用特定的知識作為試題的載體。但這種主張用特定知識達到特定測量目的,與內容效度的主張有著根本的差別。
在確保結構效度的基礎上兼顧內容效度的需要。對於教育測量(特別是考試),為了鼓勵學習者既掌握好所學習知識的本身,又獲得和發展隱含於所學習知識中的特質,編製測驗應該在保證結構效度的基礎上盡量選用被試所學過的知識為測驗題目的載體。