即这一条件成立时，BX与X'AX独立。 关于两个正态变量二次型的独立性，有下列结果： 定理7.2.13设X~N(0,I),A和B皆为对称阵，且AB=0,则二次型XAX和X'BX 独立。 证明：由AB=0可知BA'=BA=0,即AB=BA=0可交换，因此存在公共正交阵Q, 使得A,B同时对角化，即 Q'AQ=A 其中入1·，入n和山1，·，4n分别为A和B的特征值。 令Y=QX,则Y~Nn(0,In),因此有 XAX-XQAO'X=YAY: X'BX=X'Q△Q'X=Y'△Y, 由于 0=AB=QAQ'Q△Q'=QA△Q'←→A△=0 故知A和△中的对角线上二者非零特征值是错开的，即 0 若A= Ar 0 ,则△= ,且s≥T, 0 Us+1 0 故有 X4x==空，Xax=YaY=三，4 由，…，Y,与Yr+1,…,Yn独立，因此有X'AX与X'BX独立。 ◇ 推论7.2.6设X~N(0,),若A∑B=0,则X'AX与XBX独立。 证明：记Y=∑-X~N(0,In),则 X'AX=Y'∑2AEY=Y'AY,X'BX=Y'∑B∑Y=YBY, 此处A=A∑经，B=是B公2.从而 AB=0→ASB=0. ▣ 11
=˘ò^᧷û, BX Ü X0AX ’·" 'u¸áC˛g.’·5ßke(Jµ ½n7.2.13 X ∼ Nn(0, I), A ⁄ B èÈ° ,Ö AB = 0 ,Kg. X0AX ⁄ X0BX ’·" y²µdAB = 0 å B0A0 = BA = 0, = AB = BA = 0 åÜßœd3˙ Qß ¶ A, B ”ûÈzß= Q 0AQ = Λ = λ1 . . . λn , Q0BQ = ∆ = µ1 . . . µn , Ÿ• λ1, · · · , λn ⁄ µ1, · · · , µn ©Oè A ⁄ B Aä" - Y = Q0X ,K Y ∼ Nn(0, In)ßœdk X0AX = X0QΛQ 0X = Y 0ΛY ; X0BX = X0Q∆Q 0X = Y 0∆Y, du 0 = AB = QΛQ 0Q∆Q 0 = QΛ∆Q 0 ⇐⇒ Λ∆ = 0 Λ ⁄ ∆ •ÈDzˆö"Aä¥Ümß= e Λ = λ1 . . . λr 0 . . . 0 ßK ∆ = 0 . . . 0 µs+1 . . . µn ßÖ s ≥ r, k X0AX = Y 0ΛY = Xr i=1 λiY 2 i , X0BX = Y 0∆Y = Xn j=s+1 µjY 2 j . d Y1, · · · , Yr Ü Yr+1, · · · , Yn ’·, œdk X0AX Ü X0BX ’·" Ìÿ7.2.6 X ∼ N(0, Σ) , e AΣB = 0 , K X0AX Ü X0BX ’·" y²µP Y = Σ− 1 2 X ∼ N(0, In)ßK X0AX = Y 0Σ 1 2 AΣ 1 2 Y = Y 0AY, X e 0BX = Y 0Σ 1 2 BΣ 1 2 Y = Y 0BY, e d?Ae = Σ1 2 AΣ 1 2 , Be = Σ1 2 BΣ 1 2 . l AeBe = 0 ⇐⇒ AΣB = 0. 11
§7.3 回归系数的LS估计及性质 一、模型 设Y为因变量，对Y有影响的自变量有p-1个，X1,…,Xp-1,它们之间有线性关系 Y=B0+3X1+…+Bp-1Xp-1+e, (7.3.1) e为随机误差，o,,…,Bp-1为未知回归参数，Bo称为常数项，31，…，p-1称为回归系数。 设(X1,…,X,-1,Y)的n组观察值(1，…，工p-1,%),i=1,2,…,n,则有 班=f0+f1x1+…+Bp-1xp-1+ei,i=1,2,…,n. (7.3.2) 误差e1,·,en满足Gauss-Markov(G-M)假定： (a)E(e)=0: (b)Var(ei)=a2; (7.3.3) (c)Cow(e,e)=0,i≠j. 将方程组(7.3.2)用矩阵表示： 1 T11 工12 T1,p-1 Bo 21 工22 2p-1 B .·. 、1xn,1xn,2 np-1 Bp-1 即： Unx1 XnxpBpx1+enx1; (7.3.4) 此处e满足G-M假定： E(e)=0,Cov(e)=o2I. (7.3.5) 此处y为n×1观察向量，X为n×p设计阵，B为p×1回归参数向量，e为m×1随机误差向 量，B和σ2未知，我们目的是求B和σ2的估计。 二、LS估计 1.B的LS估计 参数向量B的估计有若干不同方法，如有MLE方法和最小二乘估计(Least Square estima- tiom,简称LS估计)等。下面介绍LS估计，叙述如下：在(7.3.4)中，记e=y-XB,使得 ‖e2=ee=ly-XBl2=mim 12
§7.3 £8XÍLSO95ü ò! . Y èœC˛ßÈ Y kKègC˛k p − 1 áßX1, · · · , Xp−1ßßÇÉmkÇ5'X Y = β0 + β1X1 + · · · + βp−1Xp−1 + e, (7.3.1) e èëÅÿ ßβ0, β1, · · · , βp−1 èô£8ÎÍßβ0 °è~Íëßβ1, · · · , βp−1 °è£8XÍ" (X1, · · · , Xp−1, Y ) n |* ä (xi1, · · · , xip−1, yi), i = 1, 2, · · · , nßKk yi = β0 + β1xi1 + · · · + βp−1xip−1 + ei , i = 1, 2, · · · , n. (7.3.2) ÿ e1, · · · , en ˜vGauss-Markov (G-M) b½µ (a) E(ei) = 0; (b) V ar(ei) = σ 2 ; (c) Cov(ei , ej ) = 0, i 6= j. (7.3.3) Úêß|(7.3.2)^› L´µ y1 y2 . . . yn = 1 x11 x12 · · · x1,p−1 1 x21 x22 · · · x2,p−1 . . . . . . . . . . . . . . . 1 xn,1 xn,2 · · · xn,p−1 β0 β1 . . . βp−1 + e1 e2 . . . en , =µ yn×1 = Xn×pβp×1 + en×1, (7.3.4) d?e˜vG-M b½µ E(e) = 0, Cov(e) = σ 2 I. (7.3.5) d? y è n × 1 * ï˛ßX è n × p O ßβ èp × 1£8ÎÍï˛ße èn × 1 ëÅÿ ï ˛ßβ ⁄ σ 2 ôß·Ç8¥¶ β ⁄ σ 2 O" !LSO 1. βLSO ÎÍï˛ β OkeZÿ”ê{ßXkMLEê{⁄ŶO(Least Square estimation,{°LS O) "e°0 LSOßQ„Xeµ3(7.3.4)•ßP e = y − Xβ߶ k e k 2= e 0 e =k y − Xβ k 2= min 12
即达到最小值时B的取值3称为LS估计，记 Q(B)=y-XB2=(y-XB)'(y-XB)=yy-2xB+B'X'XB, 则 0)=0←=808)=-2x'y+2x'x6=0 aB 03 X'XB=X'y. (7.3.6) (7.3.6)称为正则方程，当XX可逆时有唯一解 =(X'X)-1X', (7.3.7) 称为B的LS估计。 问题是解(7.3.7)是否使Q()=‖y-XB2=mn？下面验证之。 Ⅱy-X3I2=‖(g-X)+X(-)2 =[g-x高+X(-3]'[(g-xa+X(a-B] =‖y-XB2+(B-B)'X'X(6-)+2(B-)y'X'(y-X) ≌I1+I2+213: 由(7.3.6)式易见13=2(8-)(X'y-XX=0,可见 Iy-XB2=‖y-X82+(8-)'X'X(8-)≥‖y-X82,对-切B∈Rp 可知使Q()达到极小。 2.经验回归方程 将代入(7.3.1)式，e用其均值0代替得 Y=B+月X1+…+今p-1Xp-1, (7.3.8) 称为经验回归方程，它描述了Y与自变量X1,·,Xp-1的近似关系。 例7.3.1一元线性回归。Y是因变量，只有一个自变量X,它们有线性关系 Y=a+BX +e, 现对(X,Y)作了n次观察，得到数据(c,),i=1,…,n,则有 1 ←→nx1=Xnx2B2x1+enx1, en 13
=àÅäû β ä βb °èLSOßP Q(β) =k y − Xβ k 2= (y − Xβ) 0 (y − Xβ) = y 0 y − 2y 0xβ + β 0X0Xβ, K ∂Q(β) ∂β = 0 ⇐⇒ ∂Q(β) ∂β = −2X0 y + 2X0Xβ = 0 ⇐⇒ X0Xβ = X0 y. (7.3.6) (7.3.6) °èKêßß X0X å_ûkçò) βb = (X0X) −1X0 y, (7.3.7) ° βb è β LSO" ØK¥)(7.3.7)¥ƒ¶ Q(β) =k y − Xβ k 2= min ºe°yÉ" k y − Xβ k 2 =k (y − Xβb) + X(βb − β) k 2 = (y − Xβb) + X(βb − β) 0 (y − Xβb) + X(βb − β) =k y − Xβb k 2 +(βb − β) 0X0X(βb − β) + 2(βb − β) 0X0 (y − Xβb) , I1 + I2 + 2I3, d(7.3.6)™¥Ñ I3 = 2(βb − β)(X0y − X0Xβb) = 0ßåÑ k y − Xβ k 2=k y − Xβb k 2 +(βb − β) 0X0X(βb − β) ≥k y − Xβb k 2 ßÈòÉ β ∈ Rp, å βb ¶ Q(β) à4" 2. ²£8êß Ú βb ì\(7.3.1)™ße ^Ÿ˛ä0ìO Yb = βc0 + βc1X1 + · · · + βbp−1Xp−1, (7.3.8) °è²£8êßßߣ„ Y ÜgC˛ X1, · · · , Xp−1 Cq'X" ~7.3.1 òÇ5£8"Y ¥œC˛ßêkòágC˛ X, ßÇkÇ5'X Y = α + βX + e, yÈ (X, Y ) ä n g* ßÍ‚ (xi , yi), i = 1, · · · , nßKk y1 y2 . . . yn = 1 x1 1 x2 . . . . . . 1 xn α β ! + e1 e2 . . . en ⇐⇒ yn×1 = Xn×2β2×1 + en×1, 13
正则方程为 ww((）( 而 |X'X= 店-（宫°=2 n 因此 (XX)-1= 代入到正则方程组可得 =x灯=。 因此B和a得LS估计为 =1 =1=1 (x-)2 1 a=可-航. 从而可=a+Bz为所要得的回归方程。 口 3.σ2的LS估计 emx1=x1-XB,将B用代替得残差向量估计 =y-X8←→a=贴-xa, 其中x;是设计阵X的第i行的行向量。用e作为e的估计，自然想到用 RSS=l‖leI2=ee=】 (7.3.9) 作为衡量σ2大小的度量，RSS是残差平方和，它的大小反映了实际数据与理论数据的偏离程 度，可以证明E(RSS)=(n-p)σ2，因此 855-w (7.3.10) 为σ2的无偏估计，它称为σ2的LS估计。 14
Kêßè X0Xβ = X0 y ⇐⇒ n Pxi Pxi Px 2 i ! α β ! = Pn i=1 yi Pn i=1 xiyi , | X0X |= n Pxi Pxi Px 2 i = n Xn i=1 x 2 i − Xn i=1 xi 2 = n Xn i=1 (xi − x¯) 2 , œd (X0X) −1 = 1 n Pn i=1 (xi − x¯) 2 Px 2 i − Pxi − Pxi n ! , ì\Kêß|å αb βb ! = (X0X) −1X0 y = 1 n Pn i=1 (xi − x¯) 2 Px 2 i − Pxi − Pxi n ! Pn i=1 yi Pn i=1 xiyi , œdβ⁄αLSOè βb = Pn i=1 xiyi − 1 n Pn i=1 xi Pn i=1 yi Pn i=1 (xi − x¯) 2 , αb = ¯y − βbx. ¯ l yb = αb + βxb è§á£8êß" 3. σ 2 LSO en×1 = yn×1 − XβßÚ β ^ βb ìOÌ ï˛O eb = y − Xβb ⇐⇒ ebi = yi − x 0 iβ, b Ÿ• x 0 i ¥O X 1 i 11ï˛"^ eb äè e Oßg,é^ RSS =k eb k 2= eb 0 eb = Xn i=1 eb 2 i (7.3.9) äèÔ˛ σ 2 å›˛ßRSS ¥Ì ²ê⁄ßßåáN ¢SÍ‚ÜnÿÍ‚†lß ›ßå±y² E(RSS) = (n − p)σ 2ßœd σb 2 = 1 n − p RSS = 1 n − p k y − Xβb k 2= 1 n − p y 0 I − X(X0X) −1X0 y, (7.3.10) è σ 2 ÆOßß°è σ 2 LSO" 14