zwp@Office:东区管理科研楼1006Phone:63600565课件/~zwp/论坛 简介 1.1简介.......................11.2正交因子模型..................51.3参数估计....................11 1.3.1主成分法................121.3.2迭代主因子法..............161.3.3最大似然方法..............191.4因子旋转....................221.5因子得分....................281.6FA和PCA...................35 PreviousNextFirstLastBackForward
1 1.1简介 •因子分析起源于20世纪初,
K.皮尔逊(Pearson)和
C.斯皮尔曼(Spearman)等学者为定义和测定智力所作的努力，主要是由对心理测量学有兴趣的科学家们培育和发展了因子分析。
•因子分析常用于对不能直接观测的变量,例如智力,音乐能力,爱国主义,消费者态度等等,进行推断,这类变量称为隐变量. •隐变量（latentvariable）是指不能直接观测到的变量，但是可以从一组可观测变量的相关关系中导出。
•例如我们知道虚弱所表达的状况，但是无法测量。
我们认为它可以通过比如力量、重量、速度、平衡性等其他方面的测量（可观测变量）来确定.因此隐变量“虚弱”应该可以通过这些可测量的量来表示. PreviousNextFirstLastBackForward
1 •因子分析中称隐变量为因子(Factor). •个体在一个或多个因子上取值的变化可以影响可观测变量中的多个变量(某个变量子集),从而导致该子集内变量之间高度相关. •因子分析常包括探索性因子分析(ExploratoryFA)和验证性因子分析(ConfirmatoryFA)两类. •探索性因子分析常用来降维,降维的方式是试图用少数几个潜在的,不可观测的随机变量（因子）来描述原始变量间的协方差关系.“探索性”是指在没有对可观测变量之间，以及可观测变量与因子之间的线性关系赋予任何结构，而只指定隐变量(latentvariables)的个数. •验证性因子分析则常用来研究一个假设的因子模型对一组新的样本拟合程度如何，其允许对模型中的参数进行限制. PreviousNextFirstLastBackForward
2 PreviousNextFirstLastBackForward
3 CFA：一家市场研究公司希望了解消费者如何选择光顾哪家商店.↑Example ↓Example •随机对光顾每家商店的消费者进行了包含80(p=80)道问题的问卷调查 •市场研究人员提出假设消费者的选择是基于几个潜在的因子:商店人员的友好程度,消费者服务水平,商店气氛,产品种类,产品质量和一般的价格水平. •因子分析使用80个问题的响应值之间的相关性来决定80个变量是否可以分为6组,每组分别反映所假设的一个因子. PreviousNextFirstLastBackForward
4 1.2正交因子模型 •X=(X1,...,Xp)′为p维观测变量,其均值和协方差矩阵分别为µ和Σ. •因子分析模型假定X可以表示为m个公共因子monfactors)F1,...,Fm和p个特殊因子(uniquefactors)ϵ1,...,ϵp的线性组合 X1−µ1=l11F1+l12F2+···+l1mFm+ϵ1X2−µ2=l21F1+l22F2+···+l2mFm+ϵ2 ...Xp−µp=lp1F1+lp2F2+···+lpmFm+ϵp 其中lij称为第i个变量在第j个因子上的因子负荷(factorloading). PreviousNextFirstLastBackForward
5 •表达成矩阵形式:Xp×1=µ+Lp×mF+ϵ,L称为因子负荷阵. 上述模型和线性模型形式非常相像,但是注意右边每个量我们均不能直接观测到,即公共因子和特殊因子均为随机变量且不能直接观测到.因此需要假定一些结构才能进行推断.正交因子模型(Orthogonalfactormodel)假设
(1).EF=
0,Var(F)=E(FF′)=Im
(2).Eϵ=
0,Var(ϵ)=E(ϵϵ′)=Ψ=diag{ψ1,...,ψp}
(3).cov(
F,ϵ)=
0 •在正交因子模型假设下Cov(Xi,Fj)=lij,以及Σ=Var(X)=Var(LF+ϵ)=LL′+Ψ PreviousNextFirstLastBackForward
6 特别, ∑mσii=Var(Xi)=li2j+ψi:=h2i+ψi j=
1 ∑mσij=cov(Xi,Xj)=likljk,i̸=j k=
1 •方差σii由两部分构成:由m个公共因子贡献的部分,h2i,称为共性或共性方差munality);由公共因子不能解释(由特殊因子解释)的部分称为特殊方差(uniqueness,specificvariance). •由协方差结构假设,正交因子模型假定了p(p+1)/2个方差参数可以通过pm+p个参数表达. •出于降维的需要，我们常常希望m要比p小得多,这样分解式Σ=LL′+Ψ通常只能近似成立.一般来说,m选取得越小,上 PreviousNextFirstLastBackForward
7 述近似效果就越差,即因子模型拟合得越不理想.拟合得太差的因子模型是没有什么实际意义的. •注意不是所有的协方差矩阵Σ都可以分解为LL′+Ψ(见课本例9.2). •公共因子F和负荷阵L不唯一:对任意正交矩阵T有 X−µ=LF+ϵ=(LT)(T′F)+ϵ=L∗F∗+ϵ L∗,F∗满足正交因子模型的所有假设.因此因子负荷阵 L∗=LT和
L 在解释协方差Σ时候是等价的. •由正交矩阵的性质,称正交变换LT,T′F为因子旋转.在合适的准则下对因子负荷阵L进行旋转,以期得到更易解释的结果. PreviousNextFirstLastBackForward
8 对两因子验证关系Σ=LL′+Ψ. 考虑协方差矩阵   1930212 3057523 Σ=253847. 12234768 可以解出     41[ ] 2000 Σ=−7162 47−111268 +00400100 18 0003 =LL′+Ψ. ↑Example↓Example PreviousNextFirstLastBackForward
9   10.90.7 ↑Example 考虑相关系数矩阵  0.9
1 0.4，则不能用单因子模型刻 0.70.41 画之。
↓Example 由单因子模型，有 1=l121+ψ
1 0.9=l11l121=l221+ψ
2 0.7=l11l310.4=l21l311=l321+ψ
3 容易解出ψ1=1−l121=−0.575，这与ψ1≥0矛盾。
PreviousNextFirstLastBackForward 10 1.3参数估计 •对可观测变量
X,假设我们有一组样本:x1,...,xn •由Σ=LL′+Ψ结构,需要估计L和Ψ •当L和Ψ被估计出来后,使用线性模型理论可得因子F的估计(称为因子得分). •记S为样本协方差矩阵,则S为Σ的估计.于是首先我们需要研究p个变量之间是否存在足够大的相关以进行因子分析.如果S的非对角元都约为零,则特殊因子方差ψi占控制地位,因此此时我们不能识别公共因子. •常见的估计方法包括 –主成分法–迭代主因子法 PreviousNextFirstLastBackForward 11 –最大似然法(假设正态)•第一种方法对方差关注更多,后两种方法关注如何使用公共因 子的波动来描述观测性状之间的相关性. 1.3.1主成分法 (Theponentmethod)•由Σ的非负定性,可以得到正交分解 Σ=λ1e1e′1+···+λpepep:=eΛe′其中λ1≥···≥λp≥0为特征根,e1,...,ep为相应的特征向量.e=[e1,...,ep],Λ=diag{λ1,...,λp}. PreviousNextFirstLastBackForward 12 •记Y=e′(X−µ),则Y为总体主成分.于是 ∑m ∑p X−µ=eY=ejYj+ ejYj j=
1 j=m+
1 :=LF+ϵ,其中L=[√λ1e1,...,√λmem],F=(Y1/√λ1,...,Ym/√λm)′,ϵ=∑pj=m+1ejYj. •可以验证正交因子模型的假设条件
(1)和
(3)成立,但是
(2)未必成立. •相应地, Σ=LL′+Var(ϵ) 若特殊因子ϵ对协方差的贡献很小,则Σ≈LL′,从而对协方差的一个良好近似为 Σ≈LL′+diag{ψ1,...,ψp} PreviousNextFirstLastBackForward 13 其中ψi=σii−∑mj=1li2j=σii−h2i,i=1,...,p. •使用样本数据x1,...,xn估计上述参数.记(λˆi,eˆj),j=1,...,p为样本协方差矩阵S的特征根和特征向量对,且λˆ1≥···≥λˆp≥
0. 因子模型的主成分解: √ √ Lˆ=[λˆ1eˆ1,...,λˆmeˆm], Ψˆ=diag(S−LˆLˆ′)=diag{ψˆ,...,ψˆ},ψˆ=s ∑m−ˆl
1 p i ii ij j=
1 •在一些问题里,因子个数m是事先取定的 PreviousNextFirstLastBackForward 14 •若m不能事先取定,则可以基于不同m下拟合的模型结果来寻找“最好”的m: –选择m,使得 S−(LˆLˆ′+Ψˆ) 有较小的非对角元. –类似主成分个数的选择方法,选择m使得 ∑mi=1λˆiλˆ1+···λˆp 较大.–基于相关系数矩阵分析时候,选择特征根大于1的个数. •对标准化变量,此时协方差矩阵为相关系数阵,相应的分析和基于协方差的分析完全类似. PreviousNextFirstLastBackForward 15 1.3.2迭代主因子法 (Iteratedprincipalfactormethod) ⋄主因子法是对主成分方法的修正.我们通过样本相关系数矩阵R来说明.同样的过程也可以用于样本协方差矩阵. ⋄由于总体相关系数矩阵ρ=LL′+Ψ,因此ρ−Ψ=LL′.对角元ρii=h2i+ψi=
1. ⋄从而若Ψ已知,则可对ρ−Ψ进行矩阵分解得到L;有了L后可以由Ψ=ρ−LL′得到Ψ. ⋄因此,使用样本相关系数矩阵R代替ρ,使用Ψ的一个初始估计代替,则可以迭代求解Lˆ,Ψˆ.此即为迭代主因子法. 计算步骤如下: PreviousNextFirstLastBackForward 16
1.若我们有ψi的估计ψi∗,则使用1−ψi∗=h∗i2代替ρii=1后, 得到一个“缩减”的样本相关系数矩阵  h∗12r12··· r21h∗2··· Rr=.. 2 .... .. .  r1p r 2p .  .. rp1rp2···h∗p2 对m个因子,类似主成分方法将Rr因子化得到 Rr≈L∗rL∗r′ 其中L∗r由Rr的前m个特征根和特征向量构成.
2.有了L∗r后,更新Ψ的估计为Ψ∗=diag{R−L∗rL∗r′}
3.重复上面1-2步直至满足收敛准则. PreviousNextFirstLastBackForward 17 特殊方差ψi(或共性方差h2i)的常用初始估计有如下几种:•取ψi∗=1/rii,其中rii为R−1的第i个对角元,此时h∗i2= 1−ψi∗为Xi和其它p−1个变量间的样本负相关系数的平方.这种初始估计方法最常用. •取h∗i2=maxj̸=i|rij|,此时ψ∗=1−h∗i2 •取h∗i2=
1,此时ψ∗=
0,得到的L∗r为主成分解.对主因子法,需要注意: •缩减的相关系数矩阵Rr未必总是正定的,因此其一些特征根可能是负的 •主因子方法的结果对因子个数m比较敏感,不同m下得到的结果可能差异较大. •如果m太大,一些共性方差估计h∗i2可能会大于
1. PreviousNextFirstLastBackForward 18 1.3.3最大似然方法 •假定F∼Nm(
0,Im),ϵ∼Np(
0,Ψ)且两者相互独立.从而X∼Np(µ,LL′+Ψ). •记l(µ,
L,Ψ)为对数似然函数,因此 (µˆ,Lˆ,Ψˆ)=argmaxl(µ,
L,Ψ)=argmax{−nlog|LL′+Ψ|
2 −1∑n(xi−µ)′(LL′+Ψ)−1(xi−µ)}2 i=
1 •计算得到µˆ=x¯,Lˆ,Ψˆ满足{ΣˆΨˆ−1Lˆ=Lˆ(Im+Lˆ′Ψˆ−1Lˆ)Ψˆ=diag(Σˆ−LˆLˆ′) 其中Σˆ=1∑n(xi−x¯)(xi−x¯)′.ni=
1 PreviousNextFirstLastBackForward 19 •由于对Lˆ的解不唯一(对任意正交阵
T,LˆT也满足等式),因此为了得到唯一解,常常附加计算上的限制条件 Lˆ′Ψˆ−1Lˆ为对角阵 •对最大似然解,当因子个数增加时候,原来因子的估计负荷会发生变化,这与主成分解和主因子解不同. 因子个数的似然比检验 •使用似然比检验方法,可以检验因子分析模型对p元变量的协方差矩阵是否合适: H0:Σp×p=Lp×mL′+Ψ↔Ha:Σ>
0 •计算得到检验H0的对数似然比统计量 H0下最大似然 (|LˆLˆ′+Ψˆ|) −2logΛ=−2log最大似然=nlog|Σˆ| PreviousNextFirstLastBackForward H0χ2df20 其中df=dimΘa−dimΘ0=(p+p(p+1)/2)−(p+pm+p−m(m−1)/2)=[(p−m)2−p−m]/2. •Bartlett修正−2logΛ为如下式以更好的逼近χ2:(|LˆLˆ′+Ψˆ|) −2logΛ=(n−1−(2p+4m+5)/6)log|Σˆ| •对给定的检验水平α,拒绝域为(对较大的n和n−p) −2logΛ>χ2df(α) • 为保证df >
0,必须满足m<
1 (2p +
1 − √8p + 1).
2 •当n较大,m相对于p较小时候,此时假设H0通常会被拒绝,这导致保留更多的因子.然而此时LˆLˆ′+Ψˆ可能已经和S足够 接近.因此选择m时必须加以判断. PreviousNextFirstLastBackForward 21 1.4因子旋转 •前面我们已经看到,在正交因子模型下，对因子负荷阵乘以一个正交矩阵T可以得到对协方差矩阵同样的逼近. •这意味着,我们使用Lˆ或LˆT来估计因子负荷阵都是可以的,其中T为任意正交矩阵. •估计的残差矩阵S−LˆLˆ′−Ψˆ=S−(LˆT)(LˆT)′−Ψˆ保持不变,而且估计的特殊方差和共性方差均不变. •我们希望通过旋转因子来更好对结果进行解释:使因子负荷的平方两极分化,要么接近
0,要么接近
1. •因子旋转方法主要有正交旋转和斜交变换两类. PreviousNextFirstLastBackForward 22 正交旋转方法使得旋转后的因子仍然保持独立性.常用的正交旋转方法包括:varimax,quartimax,equamax等. 正交旋转方法(Orthogonalrotation) •最大方差旋转法(varimax)(Kaiser,1958) –直观上使得p个变量在每个因子上负荷尽可能分散,即在每个因子上的负荷方差最大. –该方法简化因子负荷阵的列,是最常用的因子旋转方法.–记Lˆ∗=(ˆli∗j)为旋转的因子负荷阵,令li∗j=ˆli∗j/hˆi,以及 ∑m[1∑p{∗21∑p∗2}2] V=p(lij)−p(lij) j=
1 i=
1 i=
1 ∑m[ ] ∝第j个因子(刻度变换后)载荷平方的方差 j=
1 –从而选择
T,使得V达到最大. PreviousNextFirstLastBackForward 23 •最大四次方法(quartimax) –varimax旋转方法会破坏“overall”因子:每个变量在该因子上都有高负荷. –quartimax旋转目的在于 *保留“overall”因子*建立其它因子,使得每个变量在至多一个(其它)因 子上有高负荷. –最大化 ∑p[1∑m{∗21∑m∗2}2] V=m(lij)−m(lij) j=
1 i=
1 i=
1 –可使得解释每个变量所需的因子最少。
该方法简化变量(因子负荷阵的行)。
PreviousNextFirstLastBackForward 24 •最大平衡值法(Equamax) –它是最大方差旋转法和最大四次方法的一种权衡.–目的是同时简化行和列. 斜交变换(Obliquetransformation)正交旋转适合于公共因子假定是相互独立的因子模型.除正交旋转外,许多研究者也考虑斜交(非正交)变换.此时允许因子之间相关,这在社会科学里是常见的,因为研究者很少同时研究人类行为一些完全独立的方面(因子),关心的因子更多是相关的.常用的斜交旋转方法包括Directoblimin,Promax,quartimin等. •直接最小斜交变换(Directoblimin)(Jennrich&Sampson,1966) PreviousNextFirstLastBackForward 25 –最大化 ∑m[∑p∗2∗
2 δ(∑m ∗ )(∑m
2 ∗ )]
2 fDO= ljkljk′−p (ljk) (ljk′) k>k′=1j=
1 i=
1 i=
1 –δ为用户指定的参数，其控制了斜交程度。
δ=0时的解大多为斜交的；δ>0.8时fDO→∞；δ取负的小值时候解的斜交程度会小些。
•最优斜交变换(Promax)(HendricksonandWhite,1964) –先得到正交选择(e.g.使用Varimax)–变换T的元素为k次方(常常k=4)，以扩大小的负荷和 大的负荷之间的差异 –对变换后的负荷阵再进行斜交旋转.–该变换可比直接最小斜交变换更快地计算出来，因此适用 于大型数据集。
PreviousNextFirstLastBackForward 26 •斜交变换下特殊方差保持不变. 使用哪个?
•一般来说选择哪种方法不是非常关键的•正交旋转容易解释•斜交变换下结构可能更加简单,但是因子之间的相关性难以解释 PreviousNextFirstLastBackForward 27 1.5因子得分 •公共因子的估计值,称为因子得分(factorscores),有时候也是感兴趣的,比如把得到的因子作为自变量来进行回归. •因子得分是对不可观测的随机变量(因子)的估计,不同于未知参数的估计 •假设x1,...,xn为p元变量X的一组观测样本,满足正交因子模型xi−µ=Lfi+ei,i=1,...,n Bartlett方法(加权最小二乘方法) •视特殊因子为随机误差,L为回归设计阵,fi为回归系数,则由于Var(ei)=Ψ,因此由广义最小二乘方法,得到 fˆi=(L′Ψ−1L)−1L′Ψ−1(xi−µ),i=1,...,n PreviousNextFirstLastBackForward 28 –(最大似然方法)使用
L,µ,Ψ的最大似然估计Lˆ,µˆ=x¯,Ψˆ代替,得到 fˆiLS=(Lˆ′Ψˆ−1Lˆ)−1Lˆ′Ψˆ−1(xi−x¯),i=1,...,n eˆi=xi−x¯−Lˆfˆi为ei的估计.–(主成分法)使用
L,µ,Ψ的主成分估计L˜,µˆ=x¯,Ψ˜代替, 此时常使用平凡的最小二乘方法(不加权),得到 f˜i=(L˜′L˜)−1L˜′(xi−x¯),i=1,...,n e˜i=xi−x¯−L˜f˜i为ei的估计.回归方法 –若公共因子和特殊因子服从多元正态分布,则X−µ=LF+ϵ有多元正态分布Np(
0,LL′+Ψ). PreviousNextFirstLastBackForward 29 –由于 () ( )( Σ∗=VarX=VarLF+ϵ=LL′+Ψ
F F L′ )LIm 即(X−µ,F)∼N(
0,Σ∗). –在多元正态下,易知F|X=x有多元正态分布,其条件均值为 E(F|X=x)=0+L′(LL′+Ψ)−1(x−µ)以及条件协方差为 Var(F|X=x)=Im−L′(LL′+Ψ)−1L=(L′Ψ−1L+Im)−
1 –给定观测xi,使用最大似然估计Lˆ,Ψˆ,µˆ=x¯代替,得到 fˆiR=Lˆ′(LˆLˆ′+Ψˆ)−1(xi−x¯)=(Im+Lˆ′ΨˆLˆ)−1Lˆ′Ψˆ−1(xi−x¯),i=1,...,n PreviousNextFirstLastBackForward 30 –加权最小二乘估计fˆiLS和回归估计fˆiR之间有关系fˆiLS=(Lˆ′Ψˆ−1Lˆ)−1(Im+Lˆ′Ψˆ−1Lˆ)fˆiR=(Im+(Lˆ′Ψˆ−1Lˆ)−1)fˆiR –为降低(可能的)错误指定因子个数造成的影响,实际中也常使用样本协方差矩阵S来代替Σˆ=LˆLˆ′+Ψˆ,此时fˆi=LˆS−1(xi−x¯),i=1,...,n •若使用因子旋转Lˆ∗=Lˆ
T,则因子得分为fˆi∗=T′fˆi,i=1,...,n PreviousNextFirstLastBackForward 31 因子分析的步骤 •判断数据是否可以使用因子分析方法 –相关系数矩阵:变量之间有较强的相关系数,则表明可能可以将它们归为同一因子的原因.一般需要存在0.3以上的相关系数(Tabachnick&Fidell,2007) –样本量:越大越好.经验上,对p个变量,样本量至少要5p –因子分析的充分性检验:*KMO(Kaiser-Meyer-Olkin)index:用于检验因子分析是否充分.一般需要KMO>0.51.∑∑2KMO=∑∑ij̸=∑iri∑jij̸=iri2j+ij̸=ia2ij 1Kaiser(1974)建议的标准,0.5以下是不能接受的,[0.5,0.6)太少,[0.6,0.7)普通的,[0.7,0.8)中等的,[0.8,0.9)合适,[0.9,1.0)非常适合. PreviousNextFirstLastBackForward 32 其中R=(rij)为相关相关系数矩阵,PR=(aij)为偏相关系数矩阵. *MSA(measureofSampleAdequacy):反映第i个变 量与其他变量之间的相关强弱。
其解释标准和KMO 一样。
因此，理想的，我们希望每个变量的MSA都 大于0.7. ∑
2 MSAi=∑r2j+̸=i∑rija2 j̸=iij j̸=iij *Bartlett’stestofsphericity:检验总体相关系数矩阵 是否为单位阵,即H0:ρ=Ip则Bartlett检验统计 量(修正的似然比)为 (
2 2p+5) χ=−n−1−6log|R| H0χ2p(p−1)/2 •进行因子模型的估计 PreviousNextFirstLastBackForward 33 •决定因子的个数 •因子旋转 •得到最终的模型结果并解释 注：在因子分析中，变量往往具有不同的测量单位，因此常常先对数据进行标准化，再进行因子分析。
此时，样本协方差矩阵为样本相关系数矩阵。
PreviousNextFirstLastBackForward 34 1.6FA和PCA •相同之处 –都是EDA中常用的降维方法–当观测变量几乎不相关时候两种方法都会失效–如果特殊方差很小时候，两种方法的结果类似。
特别，如 果主因子方法中特殊方差可以假设为零，则两种方法完成相同。
•不同之处 –PCA几乎没有假设；FA假设数据来自一个特定的模型–PCA强调的是将观测变量变换为主成分；FA则强调从因 子变换到可观测变量 PreviousNextFirstLastBackForward 35 –PCA不是刻度不变的；FA在最大似然方法下是刻度不变的 –PCA中，从考虑k个主成分到k+1个主成分时候，不会改变前k个主成分；而FA中则会随之改变(当使用最大似然方法时候) –PCA中计算主成分得分是直接自然的；FA中因子得分的计算比较复杂 PreviousNextFirstLastBackForward 36