简介 1.1 多重线性回归模型 1 1.2 多元线性回归模型 9 1.2.1最小二乘估计的性质.. 16 1.2.2 最小二乘估计的几何解释 22 1.2.3 有线性约束的线性模型.。···。。·· 23 1.2.4 预测... 26 Previous Next First Last Back Forward 1
简介 1.1 多重线性回归模型 . . . . . . . . . . . . . . . 1 1.2 多元线性回归模型 . . . . . . . . . . . . . . . 9 1.2.1 最小二乘估计的性质 . . . . . . . . . . 16 1.2.2 最小二乘估计的几何解释 . . . . . . . 22 1.2.3 有线性约束的线性模型 . . . . . . . . . 23 1.2.4 预测 . . . . . . . . . . . . . . . . . . . 26 Previous Next First Last Back Forward 1
1.1 多重线性回归模型 ·回归分析是一类基于预测变量(predictor variables)(a.k.a解 释变量，自变量(independent variables),回归量(regressors) 来预测一个或多个响应变量(response variable)(a.k.a因变量 (dependent variable),被解释变量(explained variable),回归 应变量(regressand))的统计方法 ·回归分析也可以用来评价解释变量对响应变量的作用，常为解 释变量的线性函数对响应变量的作用 ·解释变量可以为连续的或者离散的，或者两者混合的 ·首先我们回顾一下用于一元响应变量的多重回归方法，然后推 广到响应变量是多维的」 Previous Next First Last Back Forward
1.1 多重线性回归模型 • 回归分析是一类基于预测变量 (predictor variables)(a.k.a 解 释变量, 自变量 (independent variables), 回归量 (regressors)) 来预测一个或多个响应变量 (response variable)(a.k.a 因变量 (dependent variable), 被解释变量 (explained variable), 回归 应变量 (regressand) ) 的统计方法 • 回归分析也可以用来评价解释变量对响应变量的作用, 常为解 释变量的线性函数对响应变量的作用 • 解释变量可以为连续的或者离散的, 或者两者混合的 • 首先我们回顾一下用于一元响应变量的多重回归方法, 然后推 广到响应变量是多维的. Previous Next First Last Back Forward 1
Multiple Regression Analysis 。假设解释变量为x1,x2,Ep-1,这些变量认为是和响应变量 y有关联 ·多重线性总体回归模型假设 y=Bo+B11+B2T2++Bp-1cp-1+e -B=(o,31,.,3p-1)'为（固定的）未知的参数向量 一x1,,xp-1称为解释变量，其可以为固定的（设计的），或 者随机的 -e称为随机误差项，一般假设e~(0,a2),且E(ex)= 0,i=1,,p-1. ·当我们对总体进行随机抽样时候，假设有n个个体，每个个体 有模型 =B0+B1x1+B2x2+·+Bp-1t(p-1)+e Previous Next First Last Back Forward 2
Multiple Regression Analysis • 假设解释变量为 x1, x2, . . . , xp−1, 这些变量认为是和响应变量 y 有关联 • 多重线性总体回归模型假设 y = β0 + β1x1 + β2x2 + · · · + βp−1xp−1 + e – β = (β0, β1, . . . , βp−1) ′ 为 (固定的) 未知的参数向量 – x1, . . . , xp−1 称为解释变量, 其可以为固定的 (设计的), 或 者随机的. – e 称为随机误差项, 一般假设 e ∼ (0, σ2 ), 且 E(exi) = 0, i = 1, . . . , p − 1. • 当我们对总体进行随机抽样时候, 假设有 n 个个体, 每个个体 有模型 yi = β0 + β1xi1 + β2xi2 + · · · + βp−1xi(p−1) + ei Previous Next First Last Back Forward 2
表示成矩阵形式后有 11 E1(p-1) 21 2(p-1) e 8+ n1··n(p-1) ←→Ynx1=XnxpB+e 其中，x1,,-)表示对总体变量，x1,,工p-1的独 立重复观测.按照总体模型假设和抽样方式，一般假设误差有 下述性质： Eei=0 - Var(e)=o2(常数) -Cou(e,e)=0,i≠j Previous Next First Last Back Forward 2
表示成矩阵形式后有 y1 y2 . . . yn = 1 x11 · · · x1(p−1) 1 x21 · · · x2(p−1) . . . . . . . . . . . . 1 xn1 · · · xn(p−1) β + e1 e2 . . . en ⇐⇒ Yn×1 = Xn×pβ + ϵ 其中 yi, xi1, . . . , xi(p−1) 表示对总体变量 y, x1, . . . , xp−1 的独 立重复观测. 按照总体模型假设和抽样方式, 一般假设误差有 下述性质: – Eei = 0 – V ar(ei) = σ 2 (常数) – Cov(ei, ej ) = 0, i ̸= j Previous Next First Last Back Forward 3
多重线性回归模型(Multiple linear regression) Ynx1 Xnxp8+e 以及假设Ee=0,Var(e)=o2In. 例将下述单因素方差分析模型表示成回归模型的形式： y时=μ+T+e,j=1,..,ni,i=1,2,3 此时有三个总体，因此引入哑变量(dummy variable)来处理，令 ,=1,如果i=方；否则为0.从而一元方差分析模型可以表示成回 归分析的形式 )=μ+nri1十T2r2+T3r3+e访 Previous Next First Last Back Forward 4
多重线性回归模型(Multiple linear regression) Yn×1 = Xn×pβ + ϵ 以及假设 Eϵ = 0, V ar(ϵ) = σ 2 In. 例将下述单因素方差分析模型表示成回归模型的形式: yij = µ + τi + eij , j = 1, . . . , ni, i = 1, 2, 3 此时有三个总体, 因此引入哑变量 (dummy variable) 来处理, 令 xij = 1, 如果 i = j; 否则为 0. 从而一元方差分析模型可以表示成回 归分析的形式 yij = µ + τ1xi1 + τ2xi2 + τ3xi3 + eij Previous Next First Last Back Forward 4