パターン認識学②
分散共分散行列（ぶんさんきょうぶんさんぎょうれつ、英: variance-covariance matrix）や共分散行列（きょうぶんさんぎょうれつ、英: covariance matrix）とは、統計学と確率論において、ベクトルの要素間の共分散の行列である。これは、スカラー値をとる確率変数における分散の概念を、多次元に拡張したものである。
定義
[編集]次のような列ベクトルを考える。
- X=[�1�2⋮��]
このベクトルの要素が各々分散が有限である確率変数であるとき、( i, j ) の要素が次のような行列 Σ を分散共分散行列という。
- Σ��=E[(��−��)(��−��)]=E(����)−E(��)E(��)
ただし、
- ��=E(��)
は、ベクトル X の i 番目の要素の期待値である。すなわち、Σ は次のような行列である。
- Σ=[E[(�1−�1)(�1−�1)]E[(�1−�1)(�2−�2)]⋯E[(�1−�1)(��−��)]E[(�2−�2)(�1−�1)]E[(�2−�2)(�2−�2)]⋯E[(�2−�2)(��−��)]⋮⋮⋱⋮E[(��−��)(�1−�1)]E[(��−��)(�2−�2)]⋯E[(��−��)(��−��)]]
![{\displaystyle \Sigma ={\begin{bmatrix}\mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]\\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})]\end{bmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1543dbf45cf13963a29238da42d30ad9dc8b07cb)
この行列の逆行列は Σ−1 は、逆共分散行列（英: inverse covariance matrix） または精度行列（英: precision matrix） と呼ばれる[1]。
分散の一般化としてみたとき
[編集]上記の定義は、下記の等式と同値である。
- Σ=E[(X−E[X])(X−E[X])⊤]
![{\displaystyle \Sigma =\mathrm {E} \left[\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)^{\top }\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a7a9f117f4cfd23a38f35a88121160de3e5d3ef5)
この形は、スカラー値における分散を高次元に拡張したものと捉えられる。 スカラー値を取る確率変数 X について、次が成り立つことに注意する。
- �2=var(�)=E[(�−�)2]
![{\displaystyle \sigma ^{2}=\mathrm {var} (X)=\mathrm {E} [(X-\mu )^{2}]\ }](https://wikimedia.org/api/rest_v1/media/math/render/svg/be543d4662e323221782d27cc60aa01147ae4583)
ただし、
- �=E(�)
Σ が、分散共分散行列と呼ばれるのは、対角要素は分散だからである。
名称の問題
[編集]この行列の名前の呼び名には、いくつかの異なった流儀がある。統計学者の一部は、ウィリアム・フェラー（英語: William Feller）にならって、この行列が 1 次元の分散の自然な拡張であることから、この行列を確率変数のベクトル � の分散と呼ぶ。また、この行列がベクトル � のスカラー要素の共分散であることから、この行列を共分散行列と呼ぶ流儀もある。すなわち、
- var(X)=cov(X)=E[(X−E[X])(X−E[X])⊤]
![{\displaystyle \operatorname {var} ({\textbf {X}})=\operatorname {cov} ({\textbf {X}})=\mathrm {E} \left[({\textbf {X}}-\mathrm {E} [{\textbf {X}}])({\textbf {X}}-\mathrm {E} [{\textbf {X}}])^{\top }\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/243c0c4ade53579f8608254dc6317970247135cc)
しかし、二つの確率変数ベクトルの間の相互共分散の標準的な記法は次のようになる。
- cov(X,Y)=E[(X−E[X])(Y−E[Y])⊤]
![{\displaystyle \operatorname {cov} ({\textbf {X}},{\textbf {Y}})=\mathrm {E} \left[({\textbf {X}}-\mathrm {E} [{\textbf {X}}])({\textbf {Y}}-\mathrm {E} [{\textbf {Y}}])^{\top }\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6faad598fe7daaec8d2378b415560036d2f9272f)
var による記法は、フェラーの 2 巻の本 An Introduction to Probability Theory and Its Applications[2]に見ることができるが、どちらの形式もかなり標準化されていて、その間に曖昧性はない。
2025年3月4日 | カテゴリー：基礎知識/物理学、統計学、有機化学、数学、英語 |
