1.2 正交因子模型 ·X=(X1,,Xp)/为p维观测变量，其均值和协方差矩阵分别 为μ和∑. ·因子分析模型假定X可以表示为m个公共因子(common fac- tors)E,,Fm和p个特殊因子(unique factors)e1,·,ep的 线性组合 X1-41=l11F+l12F2+…+l1mFm+e1 X2-2=l21F+l22F+…+l2mFm+2 Xp -up lpiF lp2F2+..+lpm Fm ep 其中l,称为第i个变量在第j个因子上的因子负荷(factor loading) Previous Next First Last Back Forward 5
1.2 正交因子模型 • X = (X1, . . . , Xp) ′ 为 p 维观测变量, 其均值和协方差矩阵分别 为 µ 和 Σ. • 因子分析模型假定 X 可以表示为 m 个公共因子 (common factors)F1, . . . , Fm 和 p 个特殊因子 (unique factors)ϵ1, . . . , ϵp 的 线性组合 X1 − µ1 = l11F1 + l12F2 + · · · + l1mFm + ϵ1 X2 − µ2 = l21F1 + l22F2 + · · · + l2mFm + ϵ2 . . . Xp − µp = lp1F1 + lp2F2 + · · · + lpmFm + ϵp 其中 lij 称为第 i 个变量在第 j 个因子上的因子负荷 (factor loading). Previous Next First Last Back Forward 5
·表达成矩阵形式：Xpx1=μ+Lp×mF+∈，L称为因子负荷阵 上述模型和线性模型形式非常相像，但是注意右边每个量我们 均不能直接观测到，即公共因子和特殊因子均为随机变量且不 能直接观测到.因此需要假定一些结构才能进行推断 正交因子模型(Orthogonal factor model)假设 (1).EF=0,Var(F)=E(FF')=Im (2).Ee=0,Var(e)=E(ce')==diag(v1,...,p} (3).cou(F,e)=0 ·在正交因子模型假设下Cow(Xi,F)=l,以及 ∑=Var(X)=Var(LF+e)=LL'+亚 Previous Next First Last Back Forward 8
• 表达成矩阵形式: Xp×1 = µ + Lp×mF + ϵ, L 称为因子负荷阵. 上述模型和线性模型形式非常相像, 但是注意右边每个量我们 均不能直接观测到, 即公共因子和特殊因子均为随机变量且不 能直接观测到. 因此需要假定一些结构才能进行推断. 正交因子模型 (Orthogonal factor model) 假设 (1). EF = 0, V ar(F) = E(FF′ ) = Im (2). Eϵ = 0, V ar(ϵ) = E(ϵϵ ′ ) = Ψ = diag{ψ1, . . . , ψp} (3). cov(F, ϵ) = 0 • 在正交因子模型假设下 Cov(Xi, Fj ) = lij , 以及 Σ = V ar(X) = V ar(LF + ϵ) = LL′ + Ψ Previous Next First Last Back Forward 6
特别， =VarX)=号+4=+ =mX,X)=i≠ ·方差c:由两部分构成：由m个公共因子贡献的部分，h经，称 为共性或共性方差(communality);由公共因子不能解释（由特 殊因子解释)的部分称为特殊方差(uniqueness,.specific vari- ance). ·由协方差结构假设，正交因子模型假定了p(p+1)/2个方差参 数可以通过pm+p个参数表达 ·出于降维的需要，我们常常希望m要比p小得多，这样分解式 ∑=LL'+亚通常只能近似成立.一般来说，m选取得越小，上 Previous Next First Last Back Forward 1
特别, σii = V ar(Xi) = ∑m j=1 l 2 ij + ψi := h 2 i + ψi σij = cov(Xi, Xj ) = ∑m k=1 likljk, i ̸= j • 方差 σii 由两部分构成: 由 m 个公共因子贡献的部分, h 2 i , 称 为共性或共性方差(communality); 由公共因子不能解释 (由特 殊因子解释) 的部分称为特殊方差(uniqueness, specific variance). • 由协方差结构假设, 正交因子模型假定了 p(p + 1)/2 个方差参 数可以通过 pm + p 个参数表达. • 出于降维的需要，我们常常希望 m 要比 p 小得多, 这样分解式 Σ = LL′ + Ψ 通常只能近似成立. 一般来说, m 选取得越小, 上 Previous Next First Last Back Forward 7
述近似效果就越差，即因子模型拟合得越不理想.拟合得太差 的因子模型是没有什么实际意义的」 ·注意不是所有的协方差矩阵∑都可以分解为工L'+亚（见课本 例9.2). ·公共因子F和负荷阵L不唯一：对任意正交矩阵T有 X-u=LF+=(LT)(T'F)+E=L'F*+e L*,F*满足正交因子模型的所有假设.因此因子负荷阵 L=LT和L 在解释协方差Σ时候是等价的」 ·由正交矩阵的性质，称正交变换工T,TF为因子旋转.在合适 的准则下对因子负荷阵工进行旋转，以期得到更易解释的结果。 Previous Next First Last Back Forward 8
述近似效果就越差, 即因子模型拟合得越不理想. 拟合得太差 的因子模型是没有什么实际意义的. • 注意不是所有的协方差矩阵 Σ 都可以分解为 LL′ + Ψ(见课本 例 9.2). • 公共因子 F 和负荷阵 L 不唯一: 对任意正交矩阵 T 有 X − µ = LF + ϵ = (LT)(T ′F) + ϵ = L ∗F ∗ + ϵ L ∗ , F ∗ 满足正交因子模型的所有假设. 因此因子负荷阵 L ∗ = LT 和 L 在解释协方差 Σ 时候是等价的. • 由正交矩阵的性质, 称正交变换 LT, T ′F 为因子旋转. 在合适 的准则下对因子负荷阵 L 进行旋转, 以期得到更易解释的结果. Previous Next First Last Back Forward 8
对两因子验证关系∑=LL'+亚. TExample Example 考虑协方差矩阵 19 30 2 12 30 = 57 5 23 2 5 38 47 12 23 47 68 可以解出 2 0 0 0 4 0 0 1 0 0 0 0 3 =LL'+亚. Previous Next First Last Back Forward 9
↑Example 对两因子验证关系 Σ = LL′ + Ψ. ↓Example 考虑协方差矩阵 Σ = 19 30 2 12 30 57 5 23 2 5 38 47 12 23 47 68 . 可以解出 Σ = 4 1 7 2 −1 6 1 8 [ 4 7 −1 1 1 2 6 8 ] + 2 0 0 0 0 4 0 0 0 0 1 0 0 0 0 3 = LL′ + Ψ. Previous Next First Last Back Forward 9