最小二乘估计 参数佔计也是多元线性回归模型的基本 步骤。 最小二乘法也是多元线性回归的基本方 法 对于多元线性回归模型 Y=B+B1X1+…+BkXk+E
11 一、最小二乘估计 ◼ 参数估计也是多元线性回归模型的基本 步骤。 ◼ 最小二乘法也是多元线性回归的基本方 法。 ◼ 对于多元线性回归模型 = + + + + Y 0 1 X1 K X K
得到样本回归方程:Y=b+b1X1+…+bkXK 回归残差平方和=∑e=∑p-(b+bX1+…+bkXk) 当对b,b1,…b的一阶偏导数都等于0,得到 正规方程组 =Y-(b1X1+…+bX K S116,+S12b2+.+SIKbk=s1o Sk1b1+Sk2b2+…+Skbk= K10 其中S0=∑(x-,)-)5=∑(x-)x1-),)=1…K
12 得到样本回归方程： 回归残差平方和 当 对 的一阶偏导数都等于0，得到 正规方程组： 其中 Y = b0 + b1 X1 ++ bK X K ˆ = = − ( + + + ) i i i Yi b b X i bK X Ki V e 2 0 1 1 2 b b bK , , V 0 1 ( ) 1 1 2 2 1 0 1 1 1 1 2 2 1 1 0 0 1 1 K K KK K K K K K K S b S b S b S S b S b S b S b Y b X b X + + + = + + + = = − + + S (X X )(Y Y ) S (X X )(X j i X j ) k j K i i kj kj k i k 0 = ki − k − , = − − , , =1,
该正规方程组有K+1个方程,未知数也 是炸1个。只要满足模型假设(5),解 释变量之间不存在严格线性关系,就可 以解出b…b的唯一一组解。 该解就是β0…,B的最小二乘估计 13
13 ◼ 该正规方程组有K+1个方程，未知数也 是K+1个。只要满足模型假设（5），解 释变量之间不存在严格线性关系，就可 以解出 的唯一一组解。 ◼ 该解就是 的最小二乘估计。 b bK , , 0 K , , 0
■特别地,对于两个解释变量的线性回归模型: Y=Bo+BX+B2x2+8 n样本回归方程是:P=b+bX1+b2X2 可推导出参数最小二乘估计的公式如下 6=r-bX-bX ∑yx)∑x)-∑x)∑x1x) ∑x∑x)-(∑xx2) ∑x2,)∑x)-(∑yx∑ ∑x∑x)-(∑xx1 14
14 ◼ 特别地，对于两个解释变量的线性回归模型： ◼ 样本回归方程是： ◼ 可推导出参数最小二乘估计的公式如下： = + + + Y 0 1 X1 2 X2 0 1 1 2 2 Y ˆ = b + b X + b X 2 1 2 2 2 2 1 1 1 2 2 2 1 2 2 1 2 2 2 2 1 2 1 2 2 1 2 1 0 1 1 2 2 ( )( ) ( ) ( )( ) ( )( ) ( )( ) ( ) ( )( ) ( )( ) − − = − − = = − − i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i x x x x y x x y x x x b x x x x y x x y x x x b b Y b X b X
最小二乘估计的向量、矩阵形式 向量表示A ■回归方程的向量表示Y=XB ■回归残差向量e=Y-Y=Y-XB 残差平方和=∑e2=ee=(Y-XB)(Y-XB) YY-BXY-YXB+BXXB
15 最小二乘估计的向量、矩阵形式 ◼ 向量表示 ◼ 回归方程的向量表示 ◼ 回归残差向量 残差平方和 = bK b b 1 0 B = Yn Y ˆ ˆ ˆ 1 Y = n e e 1 e Y ˆ = XB e = Y−Y ˆ = Y−XB ( ) ( ) Y Y B X Y Y XB B X XB e e Y XB Y XB = − − + − = = = − i i V e 2