留一法

假定數據集D中包含m個樣本，若令k=m，則得到了交叉驗證法的一個特例：留一法（Leave-One-Out，簡稱LOO）。顯然，留一法不受隨機樣本劃分方式的影響，因為m個樣本只有唯一的方式劃分為m個子集——每個子集包含一個樣本；留一法使用的訓練集與初始數據集相比只少了一個樣本，這就使得在絕大多數情況下，留一法中被實際評估的模型與期望評估的用D訓練出的模型很相似。因此，留一法的評估結果往往被認為比較準確。然而，留一法也有其缺陷：在數據集比較大時，訓練m個模型的計算開銷可能是難以忍受的（例如數據集包含1百萬個樣本，則需訓練1百萬個模型），而這還是在未考慮演演算法調參的情況下。另外，留一法的估計結果也未必永遠比其他評估方法準確；“沒有免費的午餐”定理對實驗評估方法同樣適用。