Lecture7:Bootstrap(自助)方法和 Jackknife(刀切)方法 张伟平 Thursday 19th July,2018
Lecture 7: Bootstrap(gœ)ê{⁄ Jackknife( É)ê{ ‹ï² Thursday 19th July, 2018
Contents 1 Bootstrap and Jackknife y 1.1 The Bootstrap........·..·..···.·.····· 1.1.1 Bootstrap Estimation of Standard Error ......5 l.l.2 Bootstrap Estimation of Bias·....。..:·。.·11 1.2 Jackknife..·。.·。·.···········。···· 16 l.3 Jackknife-after-Bootstrap.················· 22 1l.4 Bootstrap Confidence Intervals·..·.··.··.···· 26 1.4.1 The Standard Normal Bootstrap Confidence Interval 26 1.4.2 The Percentile Bootstrap Confidence Interval ...27 l.4.3 The Basic Bootstrap Confidence Interval.······ 28 1.4.4 The Bootstrap t interval.......·.·.····· 31 1.5 Better Bootstrap Confidence Intervals............ 35 l.6 Application:Cross Validation·.:...·.....··.·· 41 Previous Next First Last Back Forward 1
Contents 1 Bootstrap and Jackknife 1 1.1 The Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1.1 Bootstrap Estimation of Standard Error . . . . . . . 5 1.1.2 Bootstrap Estimation of Bias . . . . . . . . . . . . . 11 1.2 Jackknife . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.3 Jackknife-after-Bootstrap . . . . . . . . . . . . . . . . . . . 22 1.4 Bootstrap Confidence Intervals . . . . . . . . . . . . . . . . 26 1.4.1 The Standard Normal Bootstrap Confidence Interval 26 1.4.2 The Percentile Bootstrap Confidence Interval . . . . 27 1.4.3 The Basic Bootstrap Confidence Interval . . . . . . . 28 1.4.4 The Bootstrap t interval . . . . . . . . . . . . . . . . 31 1.5 Better Bootstrap Confidence Intervals . . . . . . . . . . . . 35 1.6 Application: Cross Validation . . . . . . . . . . . . . . . . . 41 Previous Next First Last Back Forward 1
Chapter 1 Bootstrap and Jackknife 1.1 The Bootstrap Efron在1979,1981和1982年的工作中引入和进一步发展了Bootstarp方法，此 后发表了大量的关于此方法的研究 Bootstrap:方法是一类非参数Monte Carlo方法，其通过再抽样对总体分 布进行估计.再抽样方法将观测到的样本视为一个有限总体，从中进行随 机（再）抽样来估计总体的特征以及对抽样总体作出统计推断.当目标总体分布 没有指定时，Bootstrap方法经常被使用，此时，样本是唯一已有的信总 Bootstrap一词可以指非参数Bootstrap,.也可以指参数Bootstrap(上一讲 中).参数Bootstrap是指总体分布完全已知，利用Monte Carlo方法从此总体 中抽样进行统计推断；而非参数Bootstrap是指总体分布完全未知，利用再抽样 Previous Next First Last Back Forward 1
Chapter 1 Bootstrap and Jackknife 1.1 The Bootstrap Efron 31979,1981⁄1982cÛä•⁄\⁄?ò⁄u– Bootstarpê{, d uL å˛'u dê{Ôƒ. Bootstrapê{¥òaöÎÍMonte Carloê{, ŸœL2ƒÈoN© Ÿ?1O. 2ƒê{Ú *ˇ ¿èòákÅoN, l•?1ë Å(2)ƒ5OoNA±9ȃoNä—⁄Ỏ. 8IoN©Ÿ vkç½û, Bootstrapê{²~¶^, dû, ¥çòÆk&E. Bootstrap òcå±çöÎÍBootstrap, èå±çÎÍBootstrap(˛ò˘ •). ÎÍBootstrap¥çoN©Ÿ Æ, |^Monte Carloê{ldoN •ƒ?1⁄Ỏ; öÎÍBootstrap¥çoN©Ÿ ô, |^2ƒ Previous Next First Last Back Forward 1
方法从样本中（再）抽样进行统计推断 可以视样本所表示的有限总体的分布为一个”伪”总体，其具有和真实总体 类似的特征.通过从此”伪”总体中重复（再）抽样，可以据此估计统计量的抽样 分布.统计量的一些性质，如偏差，标准差等也可以通过再抽样来估计。 一个抽样分布的Bootstrap估计类似于密度估计的想法.我们通过一个样本 的直方图来估计密度函数的形状.直方图不是密度，但是在非参数问题中，可 以被视为是密度的一个合理估计.我们有很多方法从已知的密度中产生随机样 本，Bootstrap!则从经验分布中产生随机样本.假设c=(x1,·,xm)为一个从 总体分布F(x)中观测到得样本，X*为从x中随机选择的一个样本，则 P(K=)=i=1,…,n 从x中有放回的再抽样得到随机样本X货，·，X行.显然随机变量X,·,X 为i.i.d的随机变量，服从{x1,·,xn}上的均匀分布. 经验分布函数Fn(x)是F(x)的估计，可以证明，F(x)是F(x)的充分统计 量.而且另一方面，Fn(x)本身是{x1,·,xm}上的均匀分布随机变量X*的分 Previous Next First Last Back Forward 2
ê{l •(2)ƒ?1⁄Ỏ. 屿 §L´kÅoN©Ÿèòá”ñ”oN, Ÿ‰k⁄˝¢oN aqA. œLld”ñ”oN• E(2)ƒ, 层dO⁄O˛ƒ ©Ÿ. ⁄O˛ò 5ü, X† , IO è屜L2ƒ5O. òჩŸBootstrapOaquó›Oé{. ·ÇœLòá Üê„5Oó›ºÍ/G. Üê„ ÿ¥ó›, ¥3öÎÍØK•, å ±¿è¥ó›òá‹nO. ·ÇkÈıê{lÆó›•)ëÅ , BootstrapKl²©Ÿ•)ëÅ . bx = (x1, · · · , xn)èòál oN©ŸF(x)•*ˇ , X∗èlx•ëÅ¿Jòá , K P(X∗ = xi) = 1 n , i = 1, · · · , n. lx•kò£2ƒëÅ X∗ 1 , · · · , X∗ n. w,ëÅC˛X∗ 1 , · · · , X∗ n è i.i.dëÅC˛, —l{x1, · · · , xn}˛˛!©Ÿ. ²©ŸºÍFn(x)¥F(x)O, å±y², Fn(x)¥F(x)ø©⁄O ˛. Ö,òê°, Fn(x) ¥{x1, · · · , xn}˛˛!©ŸëÅC˛X∗© Previous Next First Last Back Forward 2
布函数.因此在Bootstrap中有这个逼近.Fn逼近到F,Bootstrap.重复下的经 验分布函数F是F的逼近.从x中再抽样，等价于从F中产生随机样本.这两 种逼近可以表示为 F→X+Fn Fn→X*→F 从x中产生一个Bootstrap随机样本可以这样实现，先从{1,2，·，n}中有 放回的选取n次得到{i1,…,in,然后得到Bootstrap样本x*=(x1,,,xn)为 假设0是我们感兴趣的参数（向量），为0的估计.则的分布的Bootstrap估 计可以通过如下方法得到 Previous Next First Last Back Forward 3
ŸºÍ. œd3Bootstrap•k˘á%C. Fn%CF, BootstrapEe² ©ŸºÍF ∗ n¥Fn%C. lx•2ƒ, dulFn•)ëÅ . ˘¸ ´ %Cå±L´è F → X → Fn Fn → X∗ → F ∗ n lx•)òáBootstrapëÅ å±˘¢y, kl{1, 2, · · · , n}•k ò£¿ng {i1, · · · , in}, ,Bootstrap x ∗ = (xi1 , · · · , xin ). bθ¥·Ça,ÎÍ(ï˛), θˆèθO. Kθˆ©ŸBootstrap O屜LXeê{ Previous Next First Last Back Forward 3