第三章异方差与自相关广义线性模型 本章继续讨论线性模型 Y=X B+E, E(E= (3.0.1) 所不同在于以前的关于误差方差的假定是 Var(ε)= (3.02) 这一章逐次推广讨论。第一节讨论异方差的存在与检验,尤其是在经济模型资料中的存在与影 响,第二节讨论的是 lar(E)=dag(a2,…2)a2,i=1…,n已知 (3.0.3) raur(s)=dig(a2,a2,…G2…,a2,a2,…,a2),a2,a2未知(3.04) ar()=dlag(o2,…,o2),o2=exp(z;a),a未知 (3.0.5) 这些都是误差方差为对角阵的模型 第三节讨论自相关线性模型。首先讨论的是残差一阶自回归线性模型,它的残差满足 E= pei-+U (3.0.6) E(U)=0.E(U2)=a2,E(D)=0(≠ (3.0.7) 此时残差ε;的方差虽不为对角阵,但只含一个参数。接着我们介绍自回归条件异方差(ARCH) 模型,它的误差假设是 (3.0.8) E(U)=O,E(U=0E(UD)=0,(i+j) (3.0.9) 因为模型计算中用到了广义矩估计方法(GMM),我们在第四节又介绍了GMM 第五节讨论的是 ar(E)=a2M>0,a2未知,M已知 (3.0.10) 第六节讨论的是 Iar(E)=a2M≥0,a2未知,M已知 (3.0.11) 所讨论的内容还是各种回归模型、算法及性质
1 第三章 异方差与自相关广义线性模型 本章继续讨论线性模型 Y=Xβ+ε, E (ε)=0 （3.0.1） 所不同在于以前的关于误差方差的假定是 Var(ε)=σ2 In （3.0.2） 这一章逐次推广讨论。第一节讨论异方差的存在与检验，尤其是在经济模型资料中的存在与影 响，第二节讨论的是 Var( ) diag( , , n ), i ,i 1, ,n 2 2 2 = 1 = 已知 （3.0.3） 2 2 2 1 2 2 2 2 2 2 2 1 2 1 2 1 Var() = diag( , , , , , , , , ), , 未知 （3.0.4） ( ) ( , , ), exp( ) 2 2 2 Var = diag 1 n i = Zi ， 未知 （3.0.5） 这些都是误差方差为对角阵的模型。 第三节讨论自相关线性模型。首先讨论的是残差一阶自回归线性模型，它的残差满足 i i i = −1 + （3.0.6） ( ) 0, ( ) , ( ) 0,( ) 2 2 E E E i j i = i = i j = （3.0.7） 此时残差εi 的方差虽不为对角阵，但只含一个参数。接着我们介绍自回归条件异方差(ARCH) 模型，它的误差假设是 i i p i p i = + − + + − + 2 2 0 1 1 2 （3.0.8） ( ) 0, ( ) , ( ) 0,( ) 2 2 E E E i j i = i = i j = （3.0.9） 因为模型计算中用到了广义矩估计方法(GMM)，我们在第四节又介绍了 GMM。 第五节讨论的是 2 2 Var() = M 0, 未知，M 已知 （3.0.10） 第六节讨论的是 2 2 Var() = M 0, 未知，M 已知 （3.0.11） 所讨论的内容还是各种回归模型、算法及性质
第一节异方差的存在与检验 异方差的存在与影响 前面介绍的线性回归模型,都是假定随机误差项ε;独立同分布,有相同的方差 E(E1)=0,ar(E;) (3.1.1) 但是实际抽样很难保证这一点。经济对象千差万别,可以按不同标准划分成不同的群体。这些 群体间的差别导致样本方差不一致,于是就有所谓异方差( Heteroscedasticity) E(E1)=0,a (3.1.2) 反映在散点图上,如下图可以明显看出样本方差与点(X,Y)有关,随着样本数值增大而增大。 图3.1 由于样本方差的差异,原来最小二乘估计的一些优良性质不再存在。如在一元线性回归 Y=Bo+B,X+E, i 我们知道最小二乘估计 ∑(X1-X-Y) B (3.14) ∑(X1-X)2 A=F-Ax=∑ X(X, -X n S 于是
2 第一节 异方差的存在与检验 一、异方差的存在与影响 前面介绍的线性回归模型，都是假定随机误差项εi 独立同分布，有相同的方差 (Homoscedasticity) 2 E( i ) = 0, Var( i ) = （3.1.1） 但是实际抽样很难保证这一点。经济对象千差万别，可以按不同标准划分成不同的群体。这些 群体间的差别导致样本方差不一致，于是就有所谓异方差(Heteroscedasticity): 2 ( ) 0, ( ) E i Var i i = = （3.1.2） 反映在散点图上，如下图可以明显看出样本方差与点 (Xi, Yi)有关，随着样本数值增大而增大。 图 3.1.1.1 由于样本方差的差异，原来最小二乘估计的一些优良性质不再存在。如在一元线性回归 Yi = 0 + 1Xi + i , i =1, ,n （3.1.3） 我们知道最小二乘估计 = = = − = − − − = = n i i XX i n j i n i i i XX XY Y S X X X X X X Y Y S S 1 1 2 1 1 ( ) ( )( ) ˆ （3.1.4） = − = − = − n i i XX i Y S X X X n Y X 1 0 1 1 ( ) ˆ ˆ （3.1.5） 于是
Var(B) (X;-X) (3.16) 1 X(X-X a(B0) Var(Y) (3.1.7) n 现在(Y)不是常量,我们就无法证明B1,B0是最小方差线性无偏估计。显著性检验也成了 问题。原来构造的F统计量是分子分母都含有未知参数a2,可以分别提取公因式再约去,现 在是异方差,按原来方法构造的F统计量里的未知参数无法直接约去,预测精度也无法保证 差不多原来推导的各种统计方法、统计性质由于基础动摇而都需重新考虑 因此我们需要将一般线性回归模型推广。不过在推广之前,首先要解决异方差的检验问 、异方差的检验 异方差的检验一般需要比较大的样本,一般都是作所谓残差分析 ···° 图3.1.2.1 最简单直观的方法是将残差平方
3 ( ) ( ) ) ˆ ( 2 1 1 i n i XX i Var Y S X X Var − = = （3.1.6） ( ) 1 ( ) ) ˆ ( 2 1 0 i n i XX i Var Y S X X X n Var − = − = （3.1.7） 现在 Var(Yi)不是常量，我们就无法证明 1 0 ˆ , ˆ 是最小方差线性无偏估计。显著性检验也成了 问题。原来构造的 F 统计量是分子分母都含有未知参数σ2 , 可以分别提取公因式再约去，现 在是异方差，按原来方法构造的 F 统计量里的未知参数无法直接约去，预测精度也无法保证。 差不多原来推导的各种统计方法、统计性质由于基础动摇而都需重新考虑。 因此我们需要将一般线性回归模型推广。 不过在推广之前，首先要解决异方差的检验问 题。 二、异方差的检验 异方差的检验一般需要比较大的样本，一般都是作所谓残差分析。 图 3.1.2.1 最简单直观的方法是将残差平方 2 e ˆ Y ˆ Y ˆ 2 e ˆ 2 e ˆ 2 e ˆ Y Y ˆ ˆ
e2=(1-x1)2,i=1…n 与y,画在一张图上,大致可以看出残差是否发生改变。图3.1.2.1除了第1个图外,其余图像 都指示有异方差。 还有一些方法对异方差问题作统计检验。 1.Park检验 R. E. Park建议将o2看作解释变量X的函数,并使用函数形式为 (3.1.9) 或取对数 In o=In o+BIn X,+U 其中U是随机分布项。因为σ2未知,就用残差项的平方e2代替 In ei =In o+BIn Xi+u 对上式作回归,并作假设检验。若B=0成立,则认为异方差不成立:若B≠0成立,则认为 异方差成立 Park检验要作两次最小二乘,第一次是对原始资料对(X,Y),获得Y,e;第二次是对 (X,e2)。从某种意义上讲,是用第二次最小二乘去否定第一次最小二乘,用第二次假设去否 定第一次假设 类似的还有 Glejser检验,不过使用的回归方程不一样 2. Breusch Pagan Godfrey(BPG检验 这里考虑的是多元问题,基本思想差不多。设原始资料满足模型 Y=Bo+BIX, Bnx 先用普通最小二乘获得Y2e1,作 G2=∑2=(- (3.1.11) 注意这里不是G=nm=1201-).然后定义变量 P1=e2/G2 (3.1.12)
4 ei Yi Yi ) , i 1, ,n ˆ ˆ ( 2 = − 2 = （3.1.8） 与 Yi ˆ 画在一张图上，大致可以看出残差是否发生改变。图 3.1.2.1 除了第 1 个图外，其余图像 都指示有异方差。 还有一些方法对异方差问题作统计检验。 1. Park 检验 R. E. Park 建议将 2 i 看作解释变量 X 的函数，并使用函数形式为 i X e i i 2 2 = （3.1.9） 或取对数 i = + Xi + i ln ln ln 2 2 其中 i 是随机分布项。因为 2 i 未知，就用残差项的平方 2 ˆ i e 代替 i Xi i ln e ˆ = ln + ln + 2 2 对上式作回归，并作假设检验。若β=0 成立，则认为异方差不成立；若β≠0 成立，则认为 异方差成立。 Park 检验要作两次最小二乘，第一次是对原始资料对(Xi, Yi), 获得 i i Y ,e ˆ ˆ ；第二次是对 ( 2 , ˆ i i X e )。从某种意义上讲，是用第二次最小二乘去否定第一次最小二乘，用第二次假设去否 定第一次假设。 类似的还有 Glejser 检验，不过使用的回归方程不一样。 2. Breusch Pagan Godfrey (BPG)检验 这里考虑的是多元问题，基本思想差不多。设原始资料满足模型 Yi X i m X mi i = + ++ + 0 1 1 （3.1.10） 先用普通最小二乘获得 i i Y ,e ˆ ˆ ，作 = = = = − n i i i n i i Y Y n e n 1 2 1 2 2 ) ˆ ( 1 ˆ ~ 1 （3.1.11） 注意这里不是 = − − − = n i Yi Yi n m 1 2 2 ) ˆ ( 1 1 ˆ 。然后定义变量 2 ~2 pi = e ˆ i / （3.1.12）
用p与去作回归 P1=ao+a1X1+…+amXm+ (3.1.13) 而获得回归平方和SEs,定义统计量 (p-p)2 可以证明在正态假设下,当样本容量充分大时,有渐近分布: Q~xm-1,(n→∞) (3.1.15) 于是对给定显著性水平,当超过x2分布的临界值时,就拒绝同方差假设,接受异方差假设 算例32消费收入异方差资料的BPG检验 在文献[1]里,收有一组消费(Y)与收入(X)的资料,共60对,要求作异方差检验 表312消费(Y,收入(X资料 152 140 210. 108 145 245 113 150 l10 160 120 165 l15 140 270 125 137 205 105 80 210 85 145 145 115 80 175 120 260 185 191 270
5 用 pi 与 Xji 去作回归 pi =0 +1X1i ++ m X mi +i （3.1.13） 而获得回归平方和 SES, 定义统计量 = = = − n i S ES pi pi 1 2 ( ˆ ) 2 1 2 1 （3.1.14） 可以证明在正态假设下，当样本容量充分大时， 有渐近分布： ~ ,( ) 2 m−1 n → （3.1.15） 于是对给定显著性水平，当 超过 2 分布的临界值时，就拒绝同方差假设，接受异方差假设。 算例 3.1.2 消费-收入异方差资料的 BPG 检验 在文献［1］里，收有一组消费(Y)与收入(X)的资料，共 60 对，要求作异方差检验。 表 3.1.2 消费 (Y)，收入 (X) 资料 Y X Y X Y X 55. 80. 152. 220. 95. 140. 65. 100. 144. 210. 108. 145. 70. 85. 175. 245. 113. 150. 80. 110. 180. 260. 110. 160. 79. 120. 135. 190. 125. 165. 84. 115. 140. 205. 115. 180. 98. 130. 178. 265. 130. 185. 95. 140. 191. 270. 135. 190. 90. 125. 137. 230. 120. 200. 75. 90. 189. 250. 140. 205. 74. 105. 55. 80. 140. 210. 110. 160. 70. 85. 152. 220. 113. 150. 75. 90. 140. 225. 125. 165. 65. 100. 137. 230. 108. 145. 74. 105. 145. 240. 115. 180. 80. 110. 175. 245. 140. 225. 84. 115. 189. 250. 120. 200. 79. 120. 180. 260. 145. 240. 90. 125. 178. 265. 130. 185. 98. 130. 191. 270