回归模型的推断 对多重回归模型，一般关心的任务有： ·参数及其函数的估计问题（可估性，最小二乘估计） ·参数估计量的性质 ·模型诊断方面 一参数的检验问题（正态性假设，似然比检验） -变量选择问题 一残差分析（模型假设的检查，数据清洁） ·模型的预测功能 Previous Next First Last Back Forward S
回归模型的推断 对多重回归模型, 一般关心的任务有: • 参数及其函数的估计问题 (可估性, 最小二乘估计) • 参数估计量的性质 • 模型诊断方面 – 参数的检验问题 (正态性假设, 似然比检验) – 变量选择问题 – 残差分析 (模型假设的检查, 数据清洁) • 模型的预测功能 Previous Next First Last Back Forward 5
最小二乘估计 ·对B的估计方法之一是选择使得残差平方和达到最小 =ag盟V-x=as∑(k-∑Aa) 其中x0三1. ·当X为满秩时候(p<n),上述最小化残差平方和的B可以得 出 B=(X'x)XY -此时称B为B的最小二乘估计. -此时响应变量的拟合值为Y=XB=X(X'X)-1XY= HY,H称为帽子(Hat)矩阵. -残差为=Y-Y=(I-H)Y Previous Next First Last Back Forward 6
最小二乘估计 • 对 β 的估计方法之一是选择使得残差平方和达到最小: βˆ = arg min β∈Rp ∥Y − Xβ∥ 2 = arg min β∈Rp ∑n i=1 ( yi − ∑p−1 k=0 βkxik)2 其中 xi0 ≡ 1. • 当 X 为满秩时候 (p < n), 上述最小化残差平方和的 β 可以得 出 βˆ = (X ′X) −1X ′ Y – 此时称 βˆ 为 β 的最小二乘估计. – 此时响应变量的拟合值为 Yˆ = Xβˆ = X(X′X) −1X′Y = HY , H 称为帽子 (Hat) 矩阵. – 残差为 ϵˆ = Y − Yˆ = (I − H)Y Previous Next First Last Back Forward 6
-残差满足X=0,空=0. 平方和分解 由于Y=0,因此总的响应变量平方和Y'Y可以分解为 Y'Y=(P+Y-)'(Y+Y-)=Y空+ 由于X的第一列为1，因此Xe=0表明1'e=0=→1Y=1'Y. 从而两边同时减去1'Y和1'夕得到 y'y-1'y=Y空-1'Y+e 一-驴=，-那+∑ SST SSreg SSe 总平方和=回归平方和+残差平方和 总波动性=回归能解释的波动性+误差的波动性 Previous Next First Last Back Forward
– 残差满足 ϵˆ ′X = 0, ϵˆ ′Yˆ = 0. 平方和分解 由于 ϵˆ ′Yˆ = 0, 因此总的响应变量平方和 Y ′Y 可以分解为 Y ′ Y = (Yˆ + Y − Yˆ ) ′ (Yˆ + Y − Yˆ ) = Yˆ ′ Yˆ + ˆϵ ′ ϵˆ 由于 X 的第一列为 1, 因此 X′ ϵˆ = 0 表明 1 ′ ϵˆ = 0 =⇒ 1 ′Y = 1 ′Yˆ . 从而两边同时减去 1 ′Y 和 1 ′Yˆ 得到 Y ′ Y − 1 ′ Y = Yˆ ′ Yˆ − 1 ′ Yˆ + ˆϵ ′ ϵˆ ⇐⇒ ∑n i=1 (yi − y¯) 2 = ∑n i=1 (ˆyj − y¯) 2 + ∑n i=1 ϵˆ 2 i SST = SSreg + SSe 总平方和 = 回归平方和 + 残差平方和 总波动性 = 回归能解释的波动性 + 误差的波动性 Previous Next First Last Back Forward 7
由此分解，模型拟合程度的一个度量标准为 2=1- SSe SSreg SST SST 称为判定系数(coef伍cient of determination).R即为总体多重相关 系数的估计（参看第四讲条件分布部分） 最小二乘估计的性质 ·E8=B,cov(8)=a2(X'X)-1 ·cow(B,)=0 。c'B的最佳线性估计估计为cB.(Gauss-Markov定理) Previous Next First Last Back Forward 8
由此分解, 模型拟合程度的一个度量标准为 R 2 = 1 − SSe SST = SSreg SST 称为判定系数 (coefficient of determination). R 即为总体多重相关 系数的估计 (参看第四讲条件分布部分). 最小二乘估计的性质 • Eβˆ = β, cov(βˆ) = σ 2 (X′X) −1 • cov(β, ˆ ϵˆ) = 0 • c ′β 的最佳线性估计估计为 c ′βˆ.(Gauss-Markov 定理) Previous Next First Last Back Forward 8