复旦大学：《计量经济学》课程讲义_EViews与计量经济学 第四章 方差分量线性回归模型

第四章方差分量线性回归模型 本章考虑的线性模型不仅有固定效应、随机误差,而且有随机效应。我们先从随机效应 角度理解回归概念,导出方差分量模型,然后硏究模型三种主要解法。最后本章介绍关于方差 分量模型的两个前沿研究成果,是作者近期在《应用数学学报》与国际数学杂志 《 Communications in statistics》上发表的。 第一节随机效应与方差分量模型 随机效应回归模型 前面所介绍的回归模型不仅都是线性的,而且自变量看作是固定效应。我们从资料对 {Y,X1,…Xm}出发建立回归模型,过去一直是把Y看作随机的,X,…,X看作非随机的。 但是实际上,自变量也经常是随机的,而并不是我们可以事先设计好的设计矩阵。我们把自变 量也是随机变量的回归模型称为随机效应回归模型。 究竟一个回归模型的自变量是随机的还是非随机的,要视具体情况而定。比如一般情况下 消费函数可写为 C=Co+b(r (4.1.1) 这里X是居民收入,T是税收,Co是生存基本消费,b是待估系数。加上随机扰动项,就是一 元线性回归模型 C=Co+b(x-T)+8 (4.1.2) 那么自变量到底是固定效应还是随机效应?那要看你采样情况。如果你是按一定收入的家庭去 调查他的消费,那是取设计矩阵,固定效应。如果你是随机抽取一些家庭,不管他收入如何都 登记他的收入与消费,那就是随机效应。 对于随机效应的回归模型,我们可以从条件期望的角度推导出与最小二乘法则等价的回归 函数 我们希望通过X预测Y,也就是要寻找一个函数Y=M(X)=M(X1,…,X),当X的 观察值为x时,这个预测的误差平均起来应达到最小,即 Elr -M(X=min ETY-L() (4.1.3)

1 第四章 方差分量线性回归模型 本章考虑的线性模型不仅有固定效应、随机误差，而且有随机效应。我们先从随机效应 角度理解回归概念，导出方差分量模型，然后研究模型三种主要解法。最后本章介绍关于方差 分量模型的 两个前沿 研究成 果，是作 者近期在 《应用 数学学报 》与国际 数学杂志 《Communications in Statistics》上发表的。 第一节 随机效应与方差分量模型 一、随机效应回归模型 前面所介绍的回归模型不仅都是线性的，而且自变量看作是固定效应。我们从资料对 n Yi X1i X pi 1 { , ,  } 出发建立回归模型，过去一直是把 Y 看作随机的，X1，…，Xp 看作非随机的。 但是实际上，自变量也经常是随机的，而并不是我们可以事先设计好的设计矩阵。我们把自变 量也是随机变量的回归模型称为随机效应回归模型。 究竟一个回归模型的自变量是随机的还是非随机的，要视具体情况而定。比如一般情况下 消费函数可写为 ( ) C = C0 + b X −T （4.1.1） 这里 X 是居民收入，T 是税收，C0 是生存基本消费，b 是待估系数。加上随机扰动项，就是一 元线性回归模型 = + ( − ) +  C C0 b X T （4.1.2） 那么自变量到底是固定效应还是随机效应?那要看你采样情况。如果你是按一定收入的家庭去 调查他的消费，那是取设计矩阵，固定效应。如果你是随机抽取一些家庭，不管他收入如何都 登记他的收入与消费，那就是随机效应。 对于随机效应的回归模型，我们可以从条件期望的角度推导出与最小二乘法则等价的回归 函数。 我们希望通过 X 预测 Y，也就是要寻找一个函数 ( ) ( , , ) Y = M X = M X1  X p ，当 X 的 观察值为 x 时，这个预测的误差平均起来应达到最小，即 2 2 E[Y M (X )] min E[Y L(X )] L − = − （4.1.3）

这里min是对一切X的可测函数LX)取极小。由于当 M(X=E(rX) 时,容易证明 ELY-MOXJIM(X)-L(XJ=0 (41.5) 故当M(X)=E(Y|X)时 ElY -L(X=ElY-M(X]+ELM(X-L(XI (41.6) 要使上式左边极小,只有取L(X)=M(X)=E(|X) 这个结果告诉我们,预测函数取作条件期望E(Y时,可使预测误差最小。我们还可以证 明,此时M()=E(YX与Y具有最大相关,即 p(r, M(X))=max P(Y, L(X) (4.1.7) 这里p表示相关系数 这是因为当M(X)=E(H|X)时,易证Cov(,L(X)=Cov(M(X),L(X),同时 Cov(Y,M(X)=Cov(M(X),M(x),于是 Cov (r, L(X)) Cov(M,L(X)) D2=(,L(X) D(YDLL(] D(YDIL(X) Cov(M(X,L(X)) DIM(XI DIM(XI DIM(XJDILOX D(Y) DIM(X) P(M(X), L(X).P(Y,M(D) P(,M(X) 等号当且仅当 p(M(X),L(X)=1 (4.1.8) 时成立,此时L(X是M(X)的线性函数 (41.3)与(4.1.7表达了M(X)=E(Y|X)的极好性质,我们称 Y=MOX=E(rX) (4.1.9) 为Y关于X的回归曲线。 上面的L(X)可取一切函数。如果限定L(X是X的线性函数,即要限定

2 这里 min 是对一切 X 的可测函数 L(X)取极小。由于当 M (X ) = E(Y | X ) （4.1.4） 时，容易证明 E[Y − M (X )][M (X ) − L(X )] = 0 （4.1.5） 故当 M (X ) = E(Y | X ) 时， 2 2 2 E[Y − L(X)] = E[Y − M(X)] + E[M(X) − L(X)] （4.1.6） 要使上式左边极小，只有取 L(X ) = M (X ) = E(Y | X )。 这个结果告诉我们，预测函数取作条件期望 E(Y|X)时，可使预测误差最小。我们还可以证 明，此时 M(X)=E(Y|X)与 Y 具有最大相关，即 ( , ( )) max ( , ( )) L  Y M X =  Y L X （4.1.7） 这里ρ表示相关系数。 这是 因为 当 M (X ) = E(Y | X ) 时 ， 易证 Cov(Y, L(X )) = Cov(M (X ), L(X )) , 同 时 Cov(Y,M (X )) = Cov(M (X ), M (X )),于是 ( , ( )) ( ( ), ( )) ( , ( )) [ ( )] [ ( )] ( ) [ ( )] [ ( )] [ ( )] Cov ( ( ), ( )) ( ) [ ( )] Cov ( , ( )) ( ) [ ( )] Cov ( , ( )) ( , ( )) 2 2 2 2 2 2 2 Y M X M X L X Y M X D M X D M X D Y D M X D M X D L X M X L X D Y D L X M L X D Y D L X Y L X Y L X      =  =   = = = 等号当且仅当 | (M (X ), L(X )) |= 1 （4.1.8） 时成立，此时 L(X)是 M(X)的线性函数。 (4.1.3)与(4.1.7)表达了 M (X ) = E(Y | X ) 的极好性质，我们称 Y = M (X ) = E(Y | X ) （4.1.9） 为 Y 关于 X 的回归曲线。 上面的 L(X)可取一切函数。如果限定 L(X)是 X 的线性函数，即要限定

ElY-(Bo+BX+.+BnXm)F]=min (4.1.10) 这里min是对X的一切线性函数取极小,则称满足上式的线性函数为Y关于X的回归直线 我们可以求出B0,B1,…Bn的解。记B=(B1,…Bm),则 L(Bo, B)=El Y-(Po+B,,+.+BnxmF b-+BRxxB-2BRxy+D(n) (4.1.11) E(r)-(Bo+ B,EX+.+ BnEXm) (41.12) Rxx= elx -EX( -Ext X2) V(XX) (4.1.13) Cov(Xm, Xi Cov(Xm,X,) D(X) Ry =(cov(r, x,,, Cov(r, Xm) (4.1.14) 对L(B0,B)求微分(矩阵微商公式(XAX)=2AX)得: 0 IRxrB=R (41.15) 解得 JBo=EY-B'EC B=rary (4.1.16) 这里当然假定R存在,否则使用广义逆 此时的预测误差方差是 L(B0,B)=印Y-(B+B1X1+…+BnXm)2] BRyB-2BR =o-RR-LR (4.1.17) xY =(Rxy rexx)2/o

3 L 2 E[| Y − ( 0 + 1X1 ++  m X m ) | ] = min （4.1.10） 这里 L min 是对 X 的一切线性函数取极小，则称满足上式的线性函数为 Y 关于 X 的回归直线。 我们可以求出    m , , , 0 1  的解。记 ( , ) 1 =     m ，则 ( , ) [| ( ) | ] 2 L  0  = E Y −  0 + 1X1 ++  m X m 2 ( ) 2 b + RXX  − RXY + D Y （4.1.11） 这里 ( ) ( ) b = E Y −  0 + 1EX1 ++  m EX m （4.1.12） R = E[(X − EX)(X − EX)] XX           = Cov( , ) Cov( , ) D( ) Cov( , ) Cov( , ) 1 2 1 1 2 1 m m m m X X X X X DX X X X X    （4.1.13） (Cov( , ), ,Cov( , ) 1 =  RXY Y X  Y X m （4.1.14） 对 L(β0，β)求微分(矩阵微商公式 X AX AX X (  ) = 2   )得：    = = RXX RXY b  0 （4.1.15） 解得     = = −  − RXX RXY EY E X 1 0 ˆ ( ) ˆ ˆ    （4.1.16） 这里当然假定 −1 RXX 存在，否则使用广义逆。 此时的预测误差方差是 ( ) ˆ 2 ˆ ˆ ) | ] ˆ ˆ ˆ ) [| ( ˆ , ˆ ( 2 0 0 1 1 R R D Y L E Y X X XY XY m m =  −  + = − + + +          Y RXYRXX RXY 2 −1 =  −  （4.1.17）  XY RXY RXX RXY  Y ( ) / 2 1 −1 =  （4.1.18）

为复相关系数。它指出了Y与多元变量X=X1…Xm之间的线性相关程度,是一元相关系数 Cov(,y) (4.1.19) DX√ 的推广。 从条件期望角度我们导出的随机效应回归模型的回归直线表达式,与从最小二乘角度导出 的固定效应的回归方程,表达式是等价的,所以从计算角度,我们不怎么区分 方差分量模型概念 上段我们建立了随机效应概念,将自变量也视作随机变量,这就可以导出方差分量模型 方差分量模型研究工作的奠基人是我国最早的统计学家许宝驭骠先生。 还是刚才提到的消费函数回归模型,我们作随机抽样。考虑居民按职业的分类,如工人 教师、医生、律师、店员等等,记为X,i=1,…,m,我们从这些职业中随机抽取了n个样本, 则模型可写为 C=C0+b(X1-1)+En,j=1…,n,=1,…,m (4.1.20) 这里X1可看作是第i种职业对收入的效应。如果我们事先安排好取哪个职业的,当然X是固 定效应。可是我们现在对职业选取是随机的,而且我们还想研究职业效应的方差,这就导入了 方差分量模型,因为现在C的方差由两部分组成 Var(Ci)=o=b-o (4.1.21) 为了数学符号统一,我们将经济学中的符号改过来,刚才建立的模型是 1=+U15n+En,i=l…,mj=l,…n (4.1.22) 它有一项固定效应μ,一项随机效应ξ1,一项随机误差ε。如果还要考虑地区因素对消费的 影响,还可以加进第二个随机效应52,于是可得模型 H+U151+U252 (4.1.23) 这次我们省掉了取值的标记,Y的方差由三项组成 般地,我们建立方差分量模型如下 Y=BB+U151+…+Um5m (4.1.24) 这里有固定效应向量B,随机效应向量 并且将随机误差项ε也并入了随机效应向量去。设计矩阵X以及

4 为复相关系数。它指出了 Y与多元变量 X X X m , , = 1  之间的线性相关程度，是一元相关系数 DY X Y rXY DX Cov( , ) = （4.1.19） 的推广。 从条件期望角度我们导出的随机效应回归模型的回归直线表达式，与从最小二乘角度导出 的固定效应的回归方程，表达式是等价的，所以从计算角度，我们不怎么区分。 二、方差分量模型概念 上段我们建立了随机效应概念，将自变量也视作随机变量，这就可以导出方差分量模型。 方差分量模型研究工作的奠基人是我国最早的统计学家许宝驭马录先生。 还是刚才提到的消费函数回归模型，我们作随机抽样。考虑居民按职业的分类，如工人、 教师、医生、律师、店员等等，记为 Xi ,i = 1,  ,m ，我们从这些职业中随机抽取了 n 个样本， 则模型可写为 Ci j = C0 + b(Xi −Ti ) +  i j , j = 1,  ,n,i = 1,  ,m （4.1.20） 这里 Xi 可看作是第 i 种职业对收入的效应。如果我们事先安排好取哪个职业的，当然 Xi 是固 定效应。可是我们现在对职业选取是随机的，而且我们还想研究职业效应的方差，这就导入了 方差分量模型，因为现在 Cij 的方差由两部分组成： 2 2 2 2 0 Var( ) Cij = = b  X +  （4.1.21） 为了数学符号统一，我们将经济学中的符号改过来，刚才建立的模型是 Yi j =  +U1 1i +  i j , i = 1,  ,m, j = 1,  ,n （4.1.22） 它有一项固定效应μ，一项随机效应ξ1，一项随机误差ε。如果还要考虑地区因素对消费的 影响，还可以加进第二个随机效应ξ2，于是可得模型 =  +  +  + Y U1 1 U2 2 （4.1.23） 这次我们省掉了取值的标记，Y 的方差由三项组成。 一般地，我们建立方差分量模型如下： Y = X +U1 1 ++Um m （4.1.24） 这里有固定效应向量β，随机效应向量 ( , , , ) 1 2 =       m （4.1.25） 并且将随机误差项ε也并入了随机效应向量去。设计矩阵 X 以及

(4.1.26) 都是已知的。对于随机效应,i=1…,m,合理的假定是 E(51)=0Co515)=0,≠j (4.1.27) D()=a2,i=1 当然以后有时还可以考虑5;是向量的情况,不过这里假定每个5;是一维变量。记 V=UUi=1 1V1+ (4.1.28) 则方差分量模型可记为 E(Y)=XB,var(Y)=∑ (41.29) 模型的主要任务是要估计固定效应向量B与方差分量σ2,a2,…,O2。和一般的多元线性回归 模型相比,就是待估的方差多了 通过这些介绍,我们就可以方便地将各种经济方面的普通线性回归模型改造成方差分量模 型,当然要根据实际 第二节方差分量模型的解法 对于方差分量模型 =XB+U151 E()=B,Var(Y)=∑UA 般都采用二步估计法,首先估计方差分量σ2,…口n,然后再估计固定效应B。按照广义最 小二乘 B*=(X21X)X 其中 ∑=>GU (42.3) 所以方差分量模型解法的关键是估计方差分量。以下介绍的方法,也都是针对方差分量估计方 法而言的

5 ( , , , ) U = U1 U2  Um （4.1.26） 都是已知的。对于随机效应  i ,i =1,  ,m ,合理的假定是     = = = =  D i m E i j i i i i j ( ) , 1, , ( ) 0,Cov( , ) 0,   2     （4.1.27） 当然以后有时还可以考虑ξi 是向量的情况，不过这里假定每个ξi 是一维变量。记 i i i m V mVm V U U i 2 1 2 1 =  , = 1,  , ,  =  ++ ， （4.1.28） 则方差分量模型可记为 E(Y) = X, Var(Y) =  （4.1.29） 模型的主要任务是要估计固定效应向量β与方差分量 2 2 2 2 1 , , ,     m 。和一般的多元线性回归 模型相比，就是待估的方差多了。 通过这些介绍，我们就可以方便地将各种经济方面的普通线性回归模型改造成方差分量模 型，当然要根据实际。 第二节 方差分量模型的解法 对于方差分量模型       = =  = + + + =        i i i m i p m n p m p n p p n n p E Y X Y U U Y X U U m m 2 1 1 1 1 1 1 1 ( ) , Var( ) 1 1       （4.2.1） 一般都采用二步估计法，首先估计方差分量 2 2 1 , ,    m ，然后再估计固定效应β。按照广义最 小二乘 X X X Y 1 1 ˆ ) ˆ * ( − − −  =   （4.2.2） 其中 i i i m i  =  U U  = 2 1 ˆ ˆ  （4.2.3） 所以方差分量模型解法的关键是估计方差分量。以下介绍的方法，也都是针对方差分量估计方 法而言的