????(Factor Analysis)

資料分析(第十週) 10- 1







因子分析 (Factor Analysis)

主成份(principal component) 分析是因子分析的一個特例，在此特例中，前

面幾個主成份即為選定之共同因子。

 

X  ( X 1 , X 2 ,, X k )  ( PC1 , PC2 , PCk )  (Y1 , Y2 ,, Yk )  Y

~ ~



(A) PC1  Y1  11 X 1  21 X 2    k1 X k

PC2  Y2  12 X 1  22 X 2    k 2 X k

 

 

PCk  Yk  1k X 1  2 k X 2    kk X k



定義： ei'  ( 1i , 2i ,  , ki ) eigenvector of eigenvalue  i

~







 11 12  1k 

 22  2 k  

P   21   e , e ,, e 

   ~ ~

k

   

1 2

~ 

 

k1 k 2  kk 



  D i a g 1 , 2 ,, k 



k

則   PP   i ei ei'

i 1 ~ ~





Y  P X ， X  P Y

~ ~ ~ ~



(B) X 1  11Y1  12Y2    1kYk

X 2  21Y1  22Y2    2 kYk

 

 

X K  k1Y1  k 2Y2    kkYk

在(A)中即為主成份分析：尋找 (11 , 21 ,, k1 ) 使得



PC1  11 X 1  21 X 2    k1 X k = e1' X 有最大的變異

~ ~





且 Var (e1' X )  e1'  e1  1 e1' e1  1

~ ~ ~ ~ ~ ~



在(B)中, (Y1 , Y2 ,, Yk )  共同因子，尋找 (11 , 21 ,, k1 ) 使得第一個共同因子 f1 貢



獻最大變異，此變異(Communality)應為 11  2    21  1 。但在 PC 中變異

2

21 k







已標準化至 1，故將 (11 , 21 ,, k1 ) 在 PC 中係數改變至 1 (11, 21,, k1 ) 。





1

資料分析(第十週) 10- 2





而定義共同因子 f1 即為 Y1，而其係數為 1 e1'

~ ~



取前面 m 個 PC 當作共同因子,則



 1 e1' 

 ~   1 

 2 e2  

'

2 

 

   1 e1 , 2 e2 ,, m em   ~  

 ~ ~ ~      

 ' 

 

m em   k 



 ~ 



k

   m ' m   ， where  i   ii   2

ij

k k k  m m k k k j 1



共同因子模式

X 1  1  11 f1  12 f 2    1m f m  e1

X 2   2  21 f1  22 f 2    2 m f m  e2

 

 

X k   k  k1 f1  k 2 f 2    km f m  ek

即 X    m f  e

~ ~ k m m1 ~

k 1 k 1





f  ( f 1 , f 2 , , f m ) 共同因子， Cov( f )  E ( f f )  

~ ~ ~ ~

m1



e  ( e1 , e2 ,  , ek ) 特有因子， Cov(e)  E (e e)  

~ ~ ~ ~

k 1





 m  (ij ) ：loading of ith observation on the jth common factor

k m





Cov(e, f )  E (e f )  0  E ( f e)

~ ~ ~ ~ ~ ~



則 X 之 Variance-Covariance matrix      ，  diag( 1 , 2 ,, m )

一般假設   I m m

(1) 共同因子在分解  成為：     

m m

主要分解  的變異部份為： Var ( X i )  Var ( ij f j )  Var (ei )   2   i

ij

j 1 j 1

m

共同因子所能解釋的部份 

j 1

2

ij ：communality。



Cov( X i , f j )  ij



(2) 若 T 為一 orthogonal matrix



X    m f  e  mTT f  e  * f *  e ， where *m   mT ， f *  T f

m







2

資料分析(第十週) 10- 3







且 E ( f * )  0 ， Cov( f * )  T Cov( f )T  I mm ，       **  

在因子分析中可旋轉至任一軸，使得共同因子容易解釋，經旋轉後之共同解釋

變異部份不變。

一般步驟為先固定 communalities 為 SMC(squared multiple correlation)

即 X i  0    j (other X j )

j







所得之 Ri2 作為 communality(diagonal 部份之值)



此時 Var-Cov matrix 成為



 R12 

 

 R2

2 ij  (Reduced Correlation Matrix)

 ij  

 2



 Rm 



依照 PC 做法並旋轉使得係數(loading)之 variance 為最大(此種旋轉稱為

Varimax)，但此時矩陣不一定為正定，故 eigenvalue 可能出現負值。



資料分析講義：因子分析 Factor Analysis

options nodate nonotes ps=60;

data factor1;

input pop school employ service house;

cards;

5700 12.8 2500 270 25000

1000 10.9 600 10 10000

3400 8.8 1000 10 9000

3800 13.6 1700 140 25000

4000 12.8 1600 140 25000

8200 8.3 2600 60 12000

1200 11.4 400 10 16000

9100 11.5 3300 60 14000

9900 12.5 3400 180 18000

9600 13.7 3600 390 25000

9600 9.6 3300 80 12000

9400 11.4 4000 100 13000

;

proc factor data=factor1;

run;

proc factor prior=smc data=factor1 preplot

rotate=varimax reorder plot;

run;



Initial Factor Method: Principal Components



Prior Communality Estimates: ONE

Eigenvalues of the Correlation Matrix: Total = 5 Average = 1









3

資料分析(第十週) 10- 4





Eigenvalue Difference Proportion Cumulative

1 2.87331359 1.07665350 0.5747 0.5747

2 1.79666009 1.58182321 0.3593 0.9340

3 0.21483689 0.11490283 0.0430 0.9770

4 0.09993405 0.08467868 0.0200 0.9969

5 0.01525537 0.0031 1.0000



2 factors will be retained by the MINEIGEN criterion.



Factor Pattern



FACTOR1 FACTOR2



POP 0.58096 0.80642

SCHOOL 0.76704 -0.54476

EMPLOY 0.67243 0.72605

SERVICE 0.93239 -0.10431

HOUSE 0.79116 -0.55818



Variance explained by each factor



FACTOR1 FACTOR2

2.873314 1.796660



Final Communality Estimates: Total = 4.669974



POP SCHOOL EMPLOY SERVICE HOUSE

0.987826 0.885106 0.979306 0.880236 0.937500





Initial Factor Method: Principal Factors

Prior Communality Estimates: SMC



POP SCHOOL EMPLOY SERVICE HOUSE

0.968592 0.822285 0.969181 0.785724 0.847019



Eigenvalues of the Reduced Correlation Matrix: Total = 4.39280116 Average =

0.87856023



Eigenvalue Difference Proportion Cumulative

1 2.73430084 1.01823217 0.6225 0.6225

2 1.71606867 1.67650586 0.3907 1.0131

3 0.03956281 0.06408626 0.0090 1.0221

4 -.02452345 0.04808427 -0.0056 1.0165

5 -.07260772 -0.0165 1.0000



2 factors will be retained by the PROPORTION criterion.



Factor Pattern

FACTOR1 FACTOR2



SERVICE 0.87899 -0.15847

HOUSE 0.74215 -0.57806

EMPLOY 0.71447 0.67936

SCHOOL 0.71370 -0.55515

POP 0.62533 0.76621



4

資料分析(第十週) 10- 5







Variance explained by each factor



FACTOR1 FACTOR2

2.734301 1.716069

Final Communality Estimates: Total = 4.450370



POP SCHOOL EMPLOY SERVICE HOUSE

0.978113 0.817564 0.971999 0.797743 0.884950





Initial Factor Method: Principal Factors

Plot of Factor Pattern for FACTOR1 and FACTOR2



FACTOR1

1



D .9



.8

E

B .7 C

A

.6

.5



.4



.3

.2

F

.1 A

C

-1 -.9-.8-.7-.6-.5-.4-.3-.2-.1 0 .1 .2 .3 .4 .5 .6 .7 .8 .9 1.0T

O

-.1 R

2

-.2



-.3

-.4



-.5



-.6

-.7



-.8



-.9

-1



POP=A SCHOOL=B EMPLOY=C SERVICE=D HOUSE=E





Rotation Method: Varimax

Orthogonal Transformation Matrix

1 2

1 0.78895 0.61446

2 -0.61446 0.78895



5

資料分析(第十週) 10- 6







Rotated Factor Pattern



FACTOR1 FACTOR2

HOUSE 0.94072 -0.00004

SCHOOL 0.90419 0.00055

SERVICE 0.79085 0.41509

POP 0.02255 0.98874

EMPLOY 0.14625 0.97499

Variance explained by each factor



FACTOR1 FACTOR2

2.349857 2.100513



Final Communality Estimates: Total = 4.450370



POP SCHOOL EMPLOY SERVICE HOUSE

0.978113 0.817564 0.971999 0.797743 0.884950





Rotation Method: Varimax

Plot of Factor Pattern for FACTOR1 and FACTOR2

FACTOR1

1

E

.B



.8 D



.7



.6



.5

.4



.3



.2

C F

.1 A

C

-1 -.9-.8-.7-.6-.5-.4-.3-.2-.1 0 .1 .2 .3 .4 .5 .6 .7 .8 .9 A.0T

O

-.1 R

2

-.2



-.3



-.4

-.5



-.6



-.7



-.8



-.9



-1

POP=A SCHOOL=B EMPLOY=C SERVICE=D HOUSE=E



6