協方差

衡量兩個變數的總體誤差

協方差(Covariance)在概率論和統計學中用于衡量兩個變數的總體誤差。而方差是協方差的一種特殊情況,即當兩個變數是相同的情況。

協方差表示的是兩個變數的總體的誤差,這與只表示一個變數誤差的方差不同。如果兩個變數的變化趨勢一致,也就是說如果其中一個大於自身的期望值,另外一個也大於自身的期望值,那麼兩個變數之間的協方差就是正值。如果兩個變數的變化趨勢相反,即其中一個大於自身的期望值,另外一個卻小於自身的期望值,那麼兩個變數之間的協方差就是負值。

定義


在概率論和統計學中,協方差用于衡量兩個變數的總體誤差。而方差是協方差的一種特殊情況,即當兩個變數是相同的情況。
期望值分別為E[X]與E[Y]的兩個實隨機變數X與Y之間的協方差Cov(X,Y)定義為:
從直觀上來看,協方差表示的是兩個變數總體誤差的期望。
如果兩個變數的變化趨勢一致,也就是說如果其中一個大於自身的期望值時另外一個也大於自身的期望值,那麼兩個變數之間的協方差就是正值;如果兩個變數的變化趨勢相反,即其中一個變數大於自身的期望值時另外一個卻小於自身的期望值,那麼兩個變數之間的協方差就是負值。
協方差
協方差
如果X與Y是統計獨立的,那麼二者之間的協方差就是0,因為兩個獨立的隨機變數滿足E[XY]=E[X]E[Y]。
但是,反過來並不成立。即如果X與Y的協方差為0,二者並不一定是統計獨立的。
協方差Cov(X,Y)的度量單位是X的協方差乘以Y的協方差。而取決於協方差的相關性,是一個衡量線性獨立的無量綱的數。
協方差為0的兩個隨機變數稱為是不相關的。

性質


若兩個隨機變數X和Y相互獨立,則E[(X-E(X))(Y-E(Y))]=0,因而若上述數學期望不為零,則X和Y必不是相互獨立的,亦即它們之間存在著一定的關係。
協方差與方差之間有如下關係:
D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
D(X-Y)=D(X)+D(Y)-2Cov(X,Y)
協方差與期望值有如下關係:
Cov(X,Y)=E(XY)-E(X)E(Y)。
協方差的性質:
(1)Cov(X,Y)=Cov(Y,X);
(2)Cov(aX,bY)=abCov(X,Y),(a,b是常數);
(3)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)。
由協方差定義,可以看出Cov(X,X)=D(X),Cov(Y,Y)=D(Y)。
協方差作為描述X和Y相關程度的量,在同一物理量綱之下有一定的作用,但同樣的兩個量採用不同的量綱使它們的協方差在數值上表現出很大的差異。為此引入如下概念:
定義 稱為隨機變數X和Y的(Pearson)相關係數。
定義
若ρXY=0,則稱X與Y不線性相關。
即ρXY=0的充分必要條件是Cov(X,Y)=0,亦即不相關和協方差為零是等價的。
定理
設ρXY是隨機變數X和Y的相關係數,則有
(1)∣ρXY∣≤1;
(2)∣ρXY∣=1充分必要條件為P{Y=aX+b}=1,(a,b為常數,a≠0)
定義
設X和Y是隨機變數,若E(X^k),k=1,2,...存在,則稱它為X的k階原點矩,簡稱k階矩。
若E{[X-E(X)]},k=1,2,...存在,則稱它為X的k階中心矩。
若E{(X^k)(Y^p)},k、l=1,2,...存在,則稱它為X和Y的k+p階混合原點矩。
若E{[X-E(X)]^k[Y-E(Y)]^l },k、l=1,2,...存在,則稱它為X和Y的k+l階混合中心矩。
顯然,X的數學期望E(X)是X的一階原點矩,方差D(X)是X的二階中心矩,協方差Cov(X,Y)是X和Y的二階混合中心矩。
對於隨機變數序列X1, ...,Xn與Y1, ...,Ym,有
對於隨機變數序列X1, ...,Xn,有

矩陣


分別為m與n個標量元素的列向量隨機變數X與Y,這兩個變數之間的協方差定義為m×n矩陣。其中X包含變數X1.X2......Xm,Y包含變數Y1.Y2......Yn,假設X1的期望值為μ1,Y2的期望值為v2,那麼在協方差矩陣中(1,2)的元素就是X1和Y2的協方差。
兩個向量變數的協方差Cov(X,Y)與Cov(Y,X)互為轉置矩陣。
協方差有時也稱為是兩個隨機變數之間“線性獨立性”的度量,但是這個含義與線性代數中嚴格的線性獨立性線性獨立不同。

應用


協方差在農業上的應用
農業科學實驗中,經常會出現可以控制的質量因子和不可以控制的數量因子同時影響實驗結果的情況,這時就需要採用協方差分析的統計處理方法,將質量因子與數量因子(也稱協變數)綜合起來加以考慮。
比如,要研究3種肥料對蘋果產量的實際效應,而各棵蘋果樹頭年的“基礎產量”不一致,但對試驗結果又有一定的影響。要消除這一因素帶來的影響,就需將各棵蘋果樹第1年年產量這一因素作為協變數進行協方差分析,才能得到正確的實驗結果。
當兩個變數相關時,用於評估它們因相關而產生的對應變數的影響。
當多個變數獨立時,用方差來評估這種影響的差異。
當多個變數相關時,用協方差來評估這種影響的差異。