主成分分析(Principal Component Analysis, PCA)
実験により \(p\) 次元の観測値 \(v^{(1)},\,\ldots,\,v^{(n)}\) を得たとする.ここで \(n\) と \(p\) はともに正整数であり,各成分は実数とする.各ベクトル\(v^{(1)},\, \ldots,\, v^{(n)}\)を1次元空間上に(線形変換で)写し,それらの違い(分散)ができる限り強調されるようにしたい.
\(\mathbb{R}^p\)から\(\mathbb{R}\)への線形変換,すなわち\(\mathbb{R}^p\)の双対空間の元は,ある\(w^\mathsf{T} \in \mathbb{R}^{1 \times p}\)によって\(\varphi(v) = w^\mathsf{T} v\)と表すことができる(雪江[1] §10.1). 変換後のベクトルを\(u_1 := w^\mathsf{T} v_1,\,\ldots,\,u_n := w^\mathsf{T} v_n\)として,これらの分散を求める.変換前のベクトル\(v_1,\,\ldots,\,v_n\)の平均は \begin{align*} \overline{v} = \frac{1}{n} \sum_{i = 1}^n v^{(i)} \end{align*} である.変換後のベクトルの平均\(\overline{u}\)は,これを用いて \begin{align*} \overline{u} = \frac{1}{n} \sum_{i = 1}^n w^\mathsf{T} v^{(i)} = w^\mathsf{T} \overline{v} \end{align*} と表せる.変換後のベクトルの標本分散は \begin{align*} \frac{1}{n - 1} \sum_{i = 1}^n \lvert u^{(i)} - \overline{u}\rvert &= \frac{1}{n - 1}\sum_{i = 1}^n \lvert w^\mathsf{T} v^{(i)} - w^\mathsf{T} \overline{v} \rvert^2 \\ &= \frac{1}{n - 1}\sum_{i = 1}^n \lvert w^\mathsf{T} (v^{(i)} - \overline{v}) \rvert^2 \\ &= \frac{1}{n - 1} \sum_{i = 1}^n w^\mathsf{T} (v^{(i)} - \overline{v})(v^{(i)} - \overline{v})^\mathsf{T} w \\ &= w^\mathsf{T} \begin{pmatrix} \displaystyle \frac{1}{n - 1}\sum_{i = 1}^n (v^{(i)}_1 - \overline{v}_1)^2 & \cdots & \displaystyle \frac{1}{n - 1} \sum_{i = 1}^n (v^{(i)}_p - \overline{v}_p)(v^{(i)}_1 - \overline{v}_1)^\mathsf{T} \\ \vdots & \ddots & \vdots \\ \displaystyle \frac{1}{n - 1} \sum_{i = 1}^n (v^{(i)}_1 - \overline{v}_1)(v^{(i)}_p - \overline{v}_p)^\mathsf{T} & \cdots & \displaystyle \frac{1}{n - 1} \sum_{i = 1}^n (v^{(i)}_p - \overline{v}_p)^2 \end{pmatrix} w \end{align*} となる.右辺の \(p\) 次正方行列(標本分散共分散行列と呼ばれるものになっている)を \(S\) と置くと,解くべき問題は \(w\) に関する \(w^\mathsf{T} S w\) の最大化ということになる.
\(w^\mathsf{T} S w\) は \(w\) によっていくらでも大きくなるので\(w\)の大きさを例えば\(1\)に固定し, \(w\)の最適な方向を探す問題として扱う. すなわち以下の制約付き最大化問題を解くことに帰着される: \begin{align} \begin{cases} \text{maximize}\quad w^\mathsf{T} S w \\ \text{subject to}\quad \lVert w \rVert = 1. \end{cases} \label{opt} \end{align} これはLagrangeの未定乗数法(宮島[2]定理3.15)によって解くことができる.
Lagrangeの未定乗数法を使うための準備として,まずは \(w \mapsto w^\mathsf{T} S w\) の(Fréchet)導関数(ibid. §3.2)を求める. \(w\) が \(w + h\) に変化したときの変化は \begin{align} (w + h)^\mathsf{T} S (w + h) - w^\mathsf{T} S w = w^\mathsf{T} S h + h^\mathsf{T} S w + h^\mathsf{T} S h \label{diff} \\ \end{align} である.この式の右辺第2項は \begin{align*} h^\mathsf{T} S w &= \langle h,\, Sw \rangle \\ &= \langle Sw,\,h \rangle \\ &= (Sw)^\mathsf{T} h \\ &= w^\mathsf{T} S^\mathsf{T} h \end{align*} と計算できる.ここで\(\langle u,\, v \rangle\)は標準内積\(u^\mathsf{T} v\)である.これを用いると式(\ref{diff})の第1項と第2項の和は \begin{align*} w^\mathsf{T} S h + h^\mathsf{T} S w = 2 w^\mathsf{T} S w \end{align*} となる.ここで \(S\) が対称行列なので \(S + S^\mathsf{T} = 2 S\) となることを使った.式(\ref{diff})の右辺第3項はCauchy–Schwarzの不等式(ibid. §1.1.2)により \begin{align} h^\mathsf{T} S h = \langle h,\,Sh \rangle \leq \lVert h\rVert \lVert Sh \rVert. \label{hsh} \end{align} と計算できる.上の式の計算を進めるために,行列ノルムの1つであるFrobeniusノルム(山本[3] §4.1)というものを用いる.行列 \(A = (a_{ij}) \in \mathbb{R}^{n \times n}\) のFrobeniusノルムは \begin{align*} {\lVert A \rVert}_\mathrm{F} = \sqrt{\sum_{(i,\,j) \in \{1,\,\ldots,\,n\}^2} {\lvert a_{ij} \rvert}^2} \end{align*} と定義される.このノルムには任意の\(x\)に対して\(\lVert A x\rVert \leq {\lVert A \rVert} \lVert x \rVert\)が成り立つという性質がある(ibid. §4.2).したがって式(\ref{hsh})は \begin{align*} h^\mathsf{T} S h \leq \lVert h \rVert {\lVert S \rVert}_\mathrm{F} \lVert h \rVert = {\lVert S \rVert}_\mathrm{F} {\lVert h \rVert}^2 \end{align*} となる.
最終的に式(\ref{diff})から \begin{gather*} (w + h)^\mathsf{T} S (w + h) - w^\mathsf{T} S w - 2 w^\mathsf{T} S h = h^\mathsf{T} S h \\ \lvert (w + h)^\mathsf{T} S (w + h) - w^\mathsf{T} S w - 2 w^\mathsf{T} S h \rvert \leq {\lVert S \rVert}_\mathrm{F} {\lVert h \rVert}^2 \end{gather*} がわかり,\(w \mapsto w^\mathsf{T} S w\)の導関数は\(h \mapsto 2w^\mathsf{T} S h\)で与えられることがわかる.
次に\(w \mapsto w^\mathsf{T} w\)の導関数を求める.\(w\)が\(w + h\)に変化するとき \begin{align*} {(w + h)}^\mathsf{T} (w + h) - w^\mathsf{T} w &= w^\mathsf{T} h + h^\mathsf{T} w + h^\mathsf{T} h \\ &= 2 w^\mathsf{T} h + {\lVert h \rVert}^2 \end{align*} であるから, \begin{align*} \lvert {(w + h)}^\mathsf{T} (w + h) - w^\mathsf{T} w - 2 w^\mathsf{T} h \rvert = {\lVert h \rVert}^2 \end{align*} となり,\(w \mapsto w^\mathsf{T} w\)の導関数が\(h \mapsto 2w^\mathsf{T} h\)で与えられることがわかる.
最適化問題(\ref{opt})のLagrangianは \begin{align*} \mathcal{L}(w,\,\lambda) = w^\mathsf{T} S w - \lambda (w^\mathsf{T} w - 1) \end{align*} であり,上で求めた結果から \begin{align*} D_w \mathcal{L} (w,\,\lambda) = 2 w^\mathsf{T} S - 2 \lambda w^\mathsf{T} \end{align*} となる.\(D_w \mathcal{L} = 0\),すなわち \begin{align*} Sw = \lambda w \end{align*} となることが, \(w^\mathsf{T} S w\) が極大となるための必要条件である.そしてこの条件は\(w\)が固有ベクトルであることと同値である. 最大の固有値を\(\lambda_1\),その固有値に対応する固有ベクトルを\(w_1\)とすると \begin{align*} w_1^\mathsf{T} S w_1 = w_1^\mathsf{T} (S w_1) = w_1^\mathsf{T} (\lambda_1 w_1) = \lambda_1 \end{align*} となる.
実際にこれが最大値であることを確認する.Weierstraßの最大値定理(宮島[2] 定理1.9)により, \((p - 1)\) 次元球面 \(S^{p - 1} = \{w \in \mathbb{R}^p \mid \lVert w \rVert = 1\}\) がコンパクト(今は有界かつ閉であることと同値)であることを確認すればよい. \(f\colon \mathbb{R}^p \to \mathbb{R}\)を\(f(x) = \lVert x \rVert\) とすると \(f\) は連続写像である. 1点集合\(\{1\}\)は閉集合であるから,\(f^{-1} (\{1\}) = S^{p - 1}\)は\(\mathbb{R}^p\)における閉集合である(松本[4]定理5.2). 有界であることは明らかである. よって \((p - 1)\) 次元球面はコンパクトであり, \(w^\mathsf{T} S w\)の最大値が\(\lambda_1\) であることが確かめられた.
行列\((n - 1)S\)はGram行列(山本[3] §1.6)である. したがって半正定値(ibid. §定理2.12)であり,任意の\(w \in \mathbb{R}^p\)に対して\(w^\mathsf{T} S w \geq 0\)を満たす.このとき固有値はすべて非負である(ibid.定理2.14).異なる \(r\) \((\leq p)\) 個の固有値 \(\lambda^{(1)} > \cdots > \lambda^{(r)} \geq 0\) とそれぞれに対応する固有ベクトル \(w^{(1)},\,\ldots,\,w^{(r)}\) が得られたと仮定する.このとき \(r\) 次元の \(n\) 個のベクトル \begin{align*} \begin{pmatrix} w^{(1)}{}^\mathsf{T} v^{(1)} \\ \vdots \\ w^{(r)}{}^\mathsf{T} v^{(1)} \end{pmatrix} ,\,\ldots,\, \begin{pmatrix} w^{(1)}{}^\mathsf{T} v^{(n)} \\ \vdots \\ w^{(r)}{}^\mathsf{T} v^{(n)} \end{pmatrix} \end{align*} は, 元の \(v^{(1)},\,\ldots,\,v^{(n)}\) が表していた情報を,もちろん多少の情報の損失はあるが,簡潔に表している.詳細は小西[5]などを参照.
参考文献
- 雪江明彦(2006) 『線形代数概説』培風館.
- 宮島静雄(2003) 『微分積分学II』共立出版.
- 山本哲朗(2010) 『行列解析の基礎 Advanced線形代数』サイエンス社.
- 松本幸夫(1985) 『トポロジー入門』岩波書店.
- 小西貞則(2021) 『多変量解析入門—線形から非線形へ—〔電子書籍版〕』岩波書店.