協方差矩陣

假設 X 是以 n 個標量隨機變數組成的列向量，並且μ 是其第k個元素的期望值，即，;協方差矩陣然後被定義為：

矩陣中的第(i,j)個元素是xi與xj的協方差。這個概念是對於標量隨機變數方差的一般化推廣。

儘管協方差矩陣很簡單，可它卻是很多領域裡的非常有力的工具。它能導出一個變換矩陣，這個矩陣能使數據完全去相關(decorrelation)。從不同的角度來看，也就是說能夠找出一組最佳的基以緊湊的方式來表達數據。(完整的證明請參考瑞利商)。這個方法在統計學中被稱為主成分分析(principal components analysis)，在圖像處理中稱為Karhunen-Loève 變換(KL-變換)。

統計學里最基本的概念就是樣本的均值、方差、標準差。首先，給定一個含有n個樣本的集合，下面給出這些概念的公式描述：

均值：

標準差：

方差：

均值描述的是樣本集合的中間點，它告訴的信息是有限的，而標準差給描述的是樣本集合的各個樣本點到均值的距離之平均。

以這兩個集合為例，和，兩個集合的均值都是10，但顯然兩個集合的差別是很大的，計算兩者的標準差，前者是8.3後者是1.8，顯然後者較為集中，故其標準差小一些，標準差描述的就是這種“散布度”。之所以除以n-1而不是n，是因為這樣能以較小的樣本集更好地逼近總體的標準差，即統計上所謂的“無偏估計”。而方差則僅僅是標準差的平方。

標準差和方差一般是用來描述一維數據的，但現實生活中常常會遇到含有多維數據的數據集，最簡單的是大家上學時免不了要統計多個學科的考試成績。

面對這樣的數據集，當然可以按照每一維獨立的計算其方差，但是通常還想了解更多，比如，一個女孩子的猥瑣程度跟她受男孩子的歡迎程度是否存在一些聯繫。協方差就是這樣一種用來度量兩個隨機變數關係的統計量可以仿照方差的定義來度量各個維度偏離其均值的程度，協方差可以這樣來定義：

協方差的結果有什麼意義呢？如果結果為正值，則說明兩者是正相關的（從協方差可以引出“相關係數”的定義），也就是說一個人越猥瑣越受男孩歡迎。如果結果為負值，就說明兩者是負相關，一個女孩子越猥瑣男孩子越討厭。如果為0，則兩者之間沒有關係，猥瑣不猥瑣和男孩子喜不喜歡之間沒有關聯，就是統計上說的“相互獨立”。

從協方差的定義上也可以看出一些顯而易見的性質，如：