Y1=L1'X=l11X1+ +lp1Xp
Y=L'X=lX+ +lX
p1p1ppp p
(1)
易见
Var(Yi)=Li∑Li
'
Cov(Yi,Yj)=Li∑Lj
'
i,j=1,2, ,p
(2)
如果要用Y1尽可能多地保留原始的X的信息,经典的办法是使Y1的方差尽可能大,这需要对线性变换的系数L1加限制,一般要求它是单位向量,即
L1'L1=1。其它的各Yi也希望尽可能多地保留X的信息,但前面的Y1,Y2, ,Yi 1已保留的信息就不再保留,即要求Cov(Yi,Yj)=0,j=1,2, ,i 1,同时对Li也有
Li'Li=1的要求,在这样的条件下使Var(Yi)最大。设协方差阵
∑
的特征值为
λ1≥λ2≥ ≥λp≥0,相应的单位特征向量分别为a1,a2, ,ap(当特征根有重根时单位特征向量不唯一)。这时X的第i个主成分为Yi=ai'X,i=1,2, ,p,且
Var(Yi)=λi。记A=(a1,a2, ap)。
λ1 Λ=
λp
p
p
(3)
Y=(Y1,Y2, Yp),则A为正交阵,Y=AX,Var(Y)=Λ,且∑λi=∑σii,其
'
1
1
中σii为
∑
的主对角线元素。

