复旦大学：《计量经济学》课程讲义_EViews与计量经济学 第二章 多元线性回归模型的有偏估计

PSP= A=diag(A1,…,) (2.1.18) PZkP'=P(I+kS)"P=[P(I+kS)PT=[+kA] k 11+k △(k) 故知z的特征根分别为,都在0,1)内 1.+k 性质4.岭估计是压缩估计,即‖B(k)|A‖B‖ 这是因为由性质2、性质3,有 B(k)l=l Z B l= PA(k)PB l= A(k)PB l PB l=lBll 当然,由于乙+k2=1“P并不一定互相等,这种压缩一股不是各方向上的均匀压缩 性质5.岭估计的均方误差较小,即 E‖B(k)-B‖2≤E‖B-B2 (2.1.19) 这个性质我们放到下一章与方差分量线性模型的广义岭估计一起证明。 三、岭迹分析与岭参数选择 因为岭估计 B(k=(XX+kDXY (2.120) 是k的函数,所以在二维坐标平面上若以横轴为k,纵轴为β(k),它将画出一条曲线。这条 曲线我们称之为岭迹 前已指出,当k→0时,岭迹反映了最小二乘估计B2的不稳定性。当k→+∞时,岭迹将 趋于0。在k从0到+∞的变化过程中,B(k)的变化可能比较复杂 关于岭参数选择的问题,已有许多文献讨论。讨论来讨论去,并没有一个公认最优的准则

6 ( , , ) 1 1 p p PSP diag      =  =             = （2.1.18） 则 ( ) 1 1 ( ) [ ( ) ] [ ] 1 1 1 1 1 1 1 1 1 k k k k k PZ P P I k S P P I k S P I k p p p K                  + + =               + + =  = +  = +  = +  − − − − − −         故知 Zk的特征根分别为 k i i  +  ，都在(0，1)内。 性质 4. 岭估计是压缩估计，即 || ˆ ( ) || || ˆ ||  k   。 这是因为由性质 2、性质 3，有 2 2 2 2 2 2 || ˆ || || ˆ || || ˆ || || ( ) ˆ || || ( ) ˆ ( ) || || ˆ ||  k = Zk = P k P =  k P  P =  当然，由于 i p k i i , =1,,  +  并不一定互相相等，这种压缩一般不是各方向上的均匀压缩。 性质 5. 岭估计的均方误差较小，即 2 2 || ˆ ( ) || || ˆ E ||  k −   E  −  （2.1.19） 这个性质我们放到下一章与方差分量线性模型的广义岭估计一起证明。 三、岭迹分析与岭参数选择 因为岭估计 k = X X + kI X Y −1 ( ) ( )  ˆ （2.1.20） 是 k 的函数，所以在二维坐标平面上若以横轴为 k，纵轴为 ( ) ˆ  k ，它将画出一条曲线。这条 曲线我们称之为岭迹。 前已指出，当 k→0 时，岭迹反映了最小二乘估计 2 ˆ  的不稳定性。当 k→+∞时，岭迹将 趋于 0。在 k 从 0 到+∞的变化过程中， ( ) ˆ  k 的变化可能比较复杂。 关于岭参数选择的问题，已有许多文献讨论。讨论来讨论去，并没有一个公认最优的准则

许多办法含有未知参数,又要对其进行估计。下一章我们将仔细介绍在方差分量模型的广义岭 估计中岭参数的选择办法。这里我们只简要介绍几种较有影响的方法和原则。 1.岭迹稳定 观察岭迹曲线,原则上应该选取使β(k)稳定的最小k值,同时残差平方和也不增加太多 2.均方误差小 岭估计的均方误差MSE(B(k)=E(B(k)-B1D)2还是k的函数,可以证明它能在某处 取得最小值。计算并观察MSE(B(k)),开始它将下降,到达最小值后开始上升。取它最小处 的k作为岭参数 3. k=o/ max o 假设回归模型Y=XB+c的设计阵X已中心化,即 lX=X1+k2+…+Xxp=0 并设P为正交方阵,使 P(XX)P=A=diag(u,n,, ...,2n) (2.1.21) 记a=PB,a称为典则参数,Z=XP′,则原模型变为 Y=Za+s (2.1.22) 这个形式被称为线性回归的典则形式。此时a的最小二乘估计与岭回归估计为 a=(Zz-ZY=APXr (2.1.23) a(k)=(zZ+kD"PXY=(A+kDPXy (2.1.24) 于是G2= E(n-ZNz)5,a=NGXY=(a1,…an P P 都是可以计算的,从而选取岭参数k=G2/maxa 4.k 这是 Bayes原理推出的法则。假若G2为{a}的公共先验方差,则从 Bayes原理出发,得 到的岭估计为

7 许多办法含有未知参数，又要对其进行估计。下一章我们将仔细介绍在方差分量模型的广义岭 估计中岭参数的选择办法。这里我们只简要介绍几种较有影响的方法和原则。 1. 岭迹稳定 观察岭迹曲线，原则上应该选取使 ( ) ˆ  k 稳定的最小 k 值，同时残差平方和也不增加太多。 2. 均方误差小 岭估计的均方误差 2 ||) ˆ ( ) ˆ ( )) (|| ˆ MSE( k = E  k −  还是 k 的函数，可以证明它能在某处 取得最小值。计算并观察 ( )) ˆ MSE( k ，开始它将下降，到达最小值后开始上升。取它最小处 的 k 作为岭参数。 3. 2 2 ˆ / max ˆ i k =   假设回归模型 Y=Xβ+ε的设计阵 X 已中心化，即 1X = X1 + X2 ++ X p = 0 并设 P 为正交方阵，使 ( ) ( , , , ) P X X P =  = diag 1 2   p   （2.1.21） 记α=Pβ，α称为典则参数，Z=XP′，则原模型变为 Y = Z + （2.1.22） 这个形式被称为线性回归的典则形式。此时α的最小二乘估计与岭回归估计为 = ZZ ZY =  PX Y −1 −1  ˆ ( ) （2.1.23） k = ZZ + kI PX Y =  + kI PX Y − ˆ( ) ( ) ( ) 1  （2.1.24） 于是   ( ) 1 ) ˆ ) ( ˆ ( 1 ˆ 2 1 I Z Z n p Y Y Y Y n p n  −   − −  − = − = − ， ˆ ( ˆ , , ˆ ) 1 1 =    =  −  G X Y    p 都是可以计算的，从而选取岭参数 2 2 ˆ / max ˆ i k =   。 4． = = p j p j j k 1 2 2 ˆ /  ˆ 这是 Bayes 原理推出的法则。假若 2 ˆ   为{αi}的公共先验方差，则从 Bayes 原理出发，得 到的岭估计为 * 2 2 / =   k （2.1.25）

而k=pa2/A,2正是k的一个估计量。 P 直观考虑是,当XX=时,取k=pG2/>a2可使岭估计具有最小的均方误差。于是 以G替代σ2即得这个估计量 因为编制岭回归计算程序及自动打印岭迹的程序现在并不困难,所以在现在条件下我们 建议主要采取岭迹图标分析。 四、广义岭回归 前面我们介绍了线性回归模型的典则形式 Y=Za+e 其中a=PB称为典则参数,z=XP′称为典则变量,P为正交方阵使P(XXP′=A。此时a 的岭估计为 a(k=(A+kD"PXr (2.1.27) 这里主对角线上是统一地加上相同的k。如果灵活一些,使主对角线上可以加上不同的k, =1…p,显然有可能使均方误差进一步下降。而且,原来狭义岭估计是广义岭估计的特例。 将这个思想写成式子就是 a(k)=(A+K)"PXr (2.1.28) 回到原来参数就是 B(K)=P'a(k)=P(A+K)PYY (2.129) 这里 K=di 广义岭回归确实能使估计的均方误差进一步下降,岭参数的选择更为复杂一些。这方面的 证明与讨论我们放到下一章结合方差分量模型一起进行 算例2.1.4岭回归与岭迹图 仍然采用本节开头的资料,利用本书所附软件运行如下。从岭迹资料看,当岭参数k从0 变到0.04时,就已趋于稳定了,到k=02时,已相当稳定了。我们就取k=0.20作正式的拟合 回归分析。岭迹图也打印在后面(图2141)。看回归方程系数,一个09816,一个1.0060,相 当接近真值。实际回归计算工作中如果遇到列复共线情况,就改用本节程序运行

8 而 = = p j p j j k 1 2 2 ˆ /  ˆ 正是 k *的一个估计量。 5. = = p j p j k 1 2 2 ˆ / ˆ 直观考虑是，当 X′X=I 时，取 = = p j p j k 1 2 2 ˆ /  可使岭估计具有最小的均方误差。于是 以 2 2  ˆ 替代 即得这个估计量。 因为编制岭回归计算程序及自动打印岭迹的程序现在并不困难，所以在现在条件下我们 建议主要采取岭迹图标分析。 四、广义岭回归 前面我们介绍了线性回归模型的典则形式 Y = Z + （2.1.26） 其中α=Pβ称为典则参数，Z=XP′称为典则变量，P 为正交方阵使 P(X′X)P′=Λ。此时α 的岭估计为 k =  + kI PX Y −1  ˆ( ) ( ) （2.1.27） 这里主对角线上是统一地加上相同的 k。如果灵活一些，使主对角线上可以加上不同的 ki, i=1,…,p, 显然有可能使均方误差进一步下降。而且，原来狭义岭估计是广义岭估计的特例。 将这个思想写成式子就是 K =  + K PX Y −1  ˆ( ) ( ) （2.1.28） 回到原来参数就是 K = P K = P  + K PX Y −1 ( ) ˆ( ) ( )  ˆ  （2.1.29） 这里 ( , , , ) 1 2 p K = diag k k  k （2.1.30） 广义岭回归确实能使估计的均方误差进一步下降，岭参数的选择更为复杂一些。这方面的 证明与讨论我们放到下一章结合方差分量模型一起进行。 算例 2.1.4 岭回归与岭迹图 仍然采用本节开头的资料，利用本书所附软件运行如下。从岭迹资料看，当岭参数 k 从 0 变到 0.04 时，就已趋于稳定了，到 k=0.2 时，已相当稳定了。我们就取 k=0.20 作正式的拟合 回归分析。岭迹图也打印在后面(图 2.1.4.1)。看回归方程系数，一个 0.9816，一个 1.0060，相 当接近真值。实际回归计算工作中如果遇到列复共线情况，就改用本节程序运行

岭回归与岭迹图计算程序,例2.1.4 正规方程系数矩阵的行列式的值是 2.12162 请输入工作参数,0=普通回归,1=岭回归,2=计算岭迹(2) 下面计算岭迹,计算40个点,需要决定岭参数起点K1与终点K40 例数据文件的岭参数K1=0,K40=0.6(下面只打印前20个点) 序号岭参数Beta0 Betal Beta2 003 8461.149 0123456789 015 057 019 9661.026 11 9701.02 025 9731.017 9761.014 977 .0309791.010 0339811.006 14 .035 9821.005 0369831.00 039 1.001 9851.000 985 999 计算指定岭参数的岭回归,请输入岭回归合适的岭参数k,k=?(0.2) 现在作线性回归显著性检验,计算tF,R统计量 请输入显著性水平a,通常取a=0.01,0.05,0.10,a=?(0.05) 线性回归分析计算结果 样本总数8 自变量个数 回归方程Y=b0+bl*X1+.+b2*X2 0336+ 9816X1+ 10060X2 回归系数b0,b1,b2,,.b 0336 9816 1.0060 残差平方和 01回归平方和 93.21

9 ------------------------------------------------------------------------------------------------------------------------ 岭回归与岭迹图计算程序, 例 2.1.4 正规方程系数矩阵的行列式的值是 2.12162 请输入工作参数, 0=普通回归, 1=岭回归, 2=计算岭迹 （2） 下面计算岭迹, 计算 40 个点, 需要决定岭参数起点 K1 与终点 K40 例数据文件的岭参数, K1=0, K40=0.6 (下面只打印前 20 个点) 序号 岭参数 Beta0 Beta1 Beta2 0 .00 .003 .433 1.566 1 .02 .010 .846 1.149 2 .03 .013 .911 1.084 3 .05 .015 .937 1.057 4 .06 .017 .951 1.042 5 .08 .019 .960 1.032 6 .09 .021 .966 1.026 7 .11 .023 .970 1.021 8 .12 .025 .973 1.017 9 .14 .026 .976 1.014 10 .15 .028 .977 1.012 11 .17 .030 .979 1.010 12 .18 .031 .980 1.008 13 .20 .033 .981 1.006 14 .21 .035 .982 1.005 15 .23 .036 .983 1.004 16 .24 .038 .983 1.003 17 .25 .039 .984 1.002 18 .27 .041 .984 1.001 19 .29 .042 .985 1.000 20 .30 .044 .985 .999 计算指定岭参数的岭回归, 请输入岭回归合适的岭参数 k, k=? （0.2） 现在作线性回归显著性检验, 计算 t,F,R 统计量 请输入显著性水平 a, 通常取 a=0.01, 0.05, 0.10, a=? (0.05) ----------------------------------------------------- 线 性 回 归 分 析 计 算 结 果 样本总数 8 自变量个数 2 ----------------------------------------------------- 回归方程 Y = b0+b1*X1+...+b2*X2 Y = .0336 + .9816 X1 + 1.0060 X2 回归系数 b0, b1, b2, ..., b2 .0336 .9816 1.0060 ----------------------------------------------------- 残差平方和: .01 回归平方和: 93.21

误差方差的估计 0007标准差=0264 线性回归显着性检验显著性水平:050 回归方程整体显著性F检验,H0bO=b1=.=b2=0 F统计量:419142000F临界值F(2,5)5.786 全相关系数R 10000 回归系数逐一显著性t检验,HO:bi=0,i=1,.2 t临界值t(5)2015 回归系数bl-b2的t值 02420246 要作回归预测吗?键入0=不预测,1=要预测 现在作回归预测,请输入自变量,Ⅹ1-X2 X(1)=0X(2)=10 线性回归预测:Y的预测值= 10.0932 给定X1-X2= 0000 10.0000 要作回归预测吗?键入0=不预测,1=要预测(0) 要打印拟合数据吗?0=不打印,1=打印(0) 计算结束 圖2.1.4.1 1.6 1.2 14444原始数据 0.8 拟合数据 0.4 0.2 2 上面显示的是岭迹图。采用了岭回归,稳定性大为增加,同时实际回归拟合效果仍然非 常好。拟合图像和图2.1.1.1几乎一模一样,就不再列出

10 误差方差的估计 : .0007 标准差 = .0264 ----------------------------------------------------- 线 性 回 归 显 着 性 检 验 显著性水平 : .050 ----------------------------------------------------- 回归方程整体显著性 F 检验, H0:b0=b1=...=b2=0 F 统计量: 41914.2000 F 临界值 F(2, 5) 5.786 全相关系数 R : 1.0000 ----------------------------------------------------- 回归系数逐一显著性 t 检验, H0:bi=0, i=1,...,2 t 临界值 t( 5) 2.015 回归系数 b1-b 2 的 t 值: .0242 .0246 ----------------------------------------------------- 要作回归预测吗? 键入 0=不预测, 1=要预测 现在作回归预测, 请输入自变量, X1-X 2 X( 1)= 0 X( 2)= 10 ----------------------------------------------------- 线 性 回 归 预 测: Y 的预测值= 10.0932 给定 X1-X 2= .0000 10.0000 ----------------------------------------------------- 要作回归预测吗? 键入 0=不预测, 1=要预测 (0) 要打印拟合数据吗? 0=不打印, 1=打印 (0) 计算结束。 ------------------------------------------------------------------------------------------------------------------------- 圖2.1.4.1 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 1 3 5 7 9 11 13 15 17 19 原始数据 拟合数据 上面显示的是岭迹图。采用了岭回归，稳定性大为增加，同时实际回归拟合效果仍然非 常好。拟合图像和图 2.1.1.1 几乎一模一样，就不再列出