摘要：關于協方差矩陣的解讀協方差矩陣實在是太重要了，無論是在計量，金融工程還是隨機分析中，我們都會到用到協方差矩陣。

在做機器學習時，用到協方差，之前對之意義不是很理解，今天著重研究一下。

學過概率統計的孩子都知道，統計里最基本的概念就是樣本的均值，方差，或者再加個標準差。首先我們給你一個含有n個樣本的集合關于協方差矩陣的概念及意義，依次給出這些概念的公式描述，這些高中學過數學的孩子都應該知道吧，一帶而過。

很顯然，均值描述的是樣本集合的中間點，它告訴我們的信息是很有限的，而標準差給我們描述的則是樣本集合的各個樣本點到均值的距離之平均。以這兩個集合為例，[0，8，12，20]和[8，9，11，12]，兩個集合的均值都是10，但顯然兩個集合差別是很大的，計算兩者的標準差，前者是8.3，后者是1.8，顯然后者較為集中，故其標準差小一些，標準差描述的就是這種“散布度”。之所以除以n-1而不是除以n，是因為這樣能使我們以較小的樣本集更好的逼近總體的標準差，即統計上所謂的“無偏估計”。而方差則僅僅是標準差的平方。

上面幾個統計量看似已經描述的差不多了，但我們應該注意到，標準差和方差一般是用來描述一維數據的，但現實生活我們常常遇到含有多維數據的數據集，最簡單的大家上學時免不了要統計多個學科的考試成績。面對這樣的數據集，我們當然可以按照每一維獨立的計算其方差，但是通常我們還想了解更多，比如，一個男孩子的猥瑣程度跟他受女孩子歡迎程度是否存在一些聯系啊，嘿嘿~協方差就是這樣一種用來度量兩個隨機變量關系的統計量，我們可以仿照方差的定義：

來度量各個維度偏離其均值的程度，標準差可以這么來定義：

協方差的結果有什么意義呢？如果結果為正值，則說明兩者是正相關的(從協方差可以引出“相關系數”的定義)，也就是說一個人越猥瑣就越受女孩子歡迎，嘿嘿，那必須的~結果為負值就說明負相關的，越猥瑣女孩子越討厭，可能嗎？如果為0，也是就是統計上說的“相互獨立”。（sh199210注：該結論有誤，協方差為零不能說明獨立）

在概率論中，兩個隨機變量 X 與 Y 之間相互關系，大致有下列3種情況：

當 X, Y 的聯合分布像上圖那樣時，我們可以看出，大致上有： X 越大 Y 也越大， X 越小 Y 也越小，這種情況，我們稱為“正相關”。

當X, Y 的聯合分布像上圖那樣時，我們可以看出，大致上有：X 越大Y 反而越小，X 越小 Y 反而越大，這種情況，我們稱為“負相關”。

當X, Y 的聯合分布像上圖那樣時，我們可以看出：既不是X 越大Y 也越大，也不是 X 越大 Y 反而越小，這種情況我們稱為“不相關”。

怎樣將這3種相關情況，用一個簡單的數字表達出來呢？

在圖中的區域（1）中，有 X>EX ，Y-EY>0 ，所以(X-EX)(Y-EY)>0；

在圖中的區域（2）中，有 X0 ，所以(X-EX)(Y-EY)<0；

在圖中的區域（3）中，有 X0；

在圖中的區域（4）中，有 X>EX ，Y-EY<0 ，所以(X-EX)(Y-EY)<0。

當X 與Y 正相關時，它們的分布大部分在區域（1）和（3）中，小部分在區域（2）和（4）中，所以平均來說，有E(X-EX)(Y-EY)>0 。
當 X與 Y負相關時，它們的分布大部分在區域（2）和（4）中，小部分在區域（1）和（3）中，所以平均來說，有(X-EX)(Y-EY)<0 。
當 X與 Y不相關時，它們在區域（1）和（3）中的分布，與在區域（2）和（4）中的分布幾乎一樣多，所以平均來說，有(X-EX)(Y-EY)=0 。

所以，我們可以定義一個表示X, Y 相互關系的數字特征，也就是協方差。

cov(X, Y) = E(X-EX)(Y-EY)

當 cov(X, Y)>0時，表明 X與Y 正相關；

當 cov(X, Y)<0時，表明X與Y負相關；

當 cov(X, Y)=0時，表明X與Y不相關。

這就是協方差的意義。

上一節提到的猥瑣和受歡迎的問題是典型二維問題，而協方差也只能處理二維問題，那維數多了自然就需要計算多個協方差，比如n維的數據集就需要計算關于協方差矩陣的概念及意義個協方差，那自然而然的我們會想到使用矩陣來組織這些數據。給出協方差矩陣的定義：

這個定義還是很容易理解的，我們可以舉一個簡單的三維的例子，假設數據集有{x,y,z}關于協方差矩陣的概念及意義三個維度，則協方差矩陣為

可見，協方差矩陣是一個對稱的矩陣，而且對角線是各個維度上的方差。

協方差矩陣實在是太重要了，無論是在計量，金融工程還是隨機分析中，我們都會到用到協方差矩陣。

其實，這三者都利用了協方差矩陣本身的含義，即隨機變量之間的線性相關關系（當然，相關系數矩陣在此處更為貼切），也利用了協方差矩陣為半正定矩陣的性質。下面具體道來:

在金融隨機分析中我們可以采用Monte Carlo方法對期權進行定價，如果對于普通的歐式期權，那么我們只要產生N個正態分布的隨機數即可。但是，對于那些依賴于多個相關隨機過程（Correlated Brownian Motion）的資產的定價，我們就要產生滿足特定相關關系的隨機變量，而這正是依靠協方差矩陣和上面所述的Cholesky分解完成的。比如，Quanto（Quantity Adjusting Option）雙幣種期權就是滿足上述特征的期權。這里我復制我的BLOG中的一段，
Quanto Nikkei Option. Consider a Nikkei quanto into dollar call option. Assuming both the USD/JPY and Nikkei are both lognormal process, i.e.

where S and X are the equity and FX process. On a spreadsheet, simulate the process, and show that by delta hedging alone, you can replicate the quanto call option. Assume the maturity of the option is one year.
在使用Monte Carlo方法對于上述期權定價時，核心是要模擬兩個具有相關性的布朗運動，這時候，我們就可以利用之前提到的協方差矩陣的Cholesky分解。Matlab code:

Sigma = [siga^2 siga*sigb*rho;
siga*sigb*rho sigb^2];
B = randn(2,n);
C=chol(Sigma);
V = C" * B;
STa = S0a * exp((mua - (siga^2)/2)*T + sqrt(T)*V(1,:));
STb = S0b * exp((mub - (sigb^2)/2)*T + sqrt(T)*V(2,:));

numpy.cov()的作用是計算協方差矩陣，下面給出幾個例子

>>> x = np.array([[0, 2], [1, 1], [2, 0]]).T
>>> x
array([[0, 1, 2],
       [2, 1, 0]])

打印：

>>> np.cov(x)
array([[ 1., -1.],
       [-1.,  1.]])

相關文章：協方差代表的意義是什么?