分享

两种假设检验思想的比较

 superlee 2006-12-03

Contrast Between Two Schools of Thought on Hypothesis Test

Zhang gaokui,et al.,

  PLA post-graduate medical school(100853).Beijing

  【Abstract】 Objective To discuss differences between classical and Bayesian testing thoughts.Methods First these two thoughts are summarized,and then they are compared through an example.Results It is pointed out that these two thoughts are united on Bayes‘s Theorem,that they are equal on given occasions,and that Bayesian testing approaches have more advantages than classical approaches in using prior information,indicating the hazard of testing,considering the loss,and dealing with the problem of multi-hypotheses.Conclusion Great attention should be paid to Bayesian theory.

  【Key words】 hypothesis test Classical school Bayesian school

  假设检验问题是统计学的传统问题,对于该问题,经典统计学派与贝叶斯学派有不同的处理思想。目前,经典统计方法占据着统计学的主导地位,但是,贝叶斯方法正在国外迅速发展并得到日益广泛的应用,我们有必要给以足够的重视。本文结合一个例子,对两大学派的假设检验思想进行初步比较,以揭示两种思想的区别与联系,并着重探讨贝叶斯方法的优势。

  两种假设检验思想

  一、经典统计学派的假设检验思想

  经典统计学派运用反证的思想进行推断,即:在认定一次实验中小概率事件不会出现的前提下,若观察到的事件是H0为真时不合理的小概率事件,则拒绝H0

  上述思想可以用如下决策函数表示:

 

  其中x代表样本信息。Φ(x)取值为0时即为通常的拒绝H0”

  二、贝叶斯学派的假设检验思想

  贝叶斯学派直接讨论H0H1的后验概率,依据后验概率的大小进行推断。

  其基本的解决方案是:在先验分布π下,有决策函数

 

  Φ(x)取值为0时即拒绝H0”。很明显,它选择了后验概率较大的假设。

  三、两种思想的联系与分歧

  在经典统计学中,参数被看作未知常数,不存在参数空间,因而不存在H0H1的概率,给出的是P(x|H0),其中x代表样本信息。在贝叶斯方法中,参数被看成随机变量,在参数空间内直接讨论样本xH0H1的后验概率,给出的是P(H0|x)P(H0不真|x)

  事实上,两个学派的方法在一定程度上统一于贝叶斯公式。

  由贝叶斯公式容易得到:

  因此,当P(H0)=P(H1),即H0H1居于平等地位时,经典学派与贝叶斯学派的结果是一致的。

 然而,H0H1地位往往不一致,H0常居于将被否定的位置,因而上述一致性并不总能成立。贝叶斯学派对此进行了深入的探讨,他们的结果很有意义。

  对于正态分布前提下的单侧检验:XN(θ1)H0θ≤0 H1θ0,经典方法得到的P值与贝叶斯方法在无信息先验分布下的后验概率相等,此结论可以推广到正态分布前提下其他类似的单侧检验。

  对于形如H0θ=0H1θ0(H1θ0)的单侧检验,情况则不同,与下述的双侧检验有类似结果。

  对于形如H0∶θ=0, H1θ≠0的双侧检验,经典方法得到的P值与贝叶斯方法的后验概率大不相同。在BergerSellke 1987年对正态分布前提下二者的比较研究中,当经典方法得到的P0.010.1之间时,贝叶斯方法得到H0为真的后验概率大于P,因而此时拒绝H0所承担的实际风险大于P,而这个区间对于经典方法下结论是非常重要的。HwangPematle 1994年提出,对这类双侧检验,类似结果始终存在,因而P值应该由其他判断标准来替代。但他们还没有找到这种标准。

  两种思想的应用

  下面我们通过一个例子对两种假设检验思想进行一些比较。

  例:以随机变量θ代表某人群中个体的智商真值,θi为第i个个体的智商真值,随机变量Xi代表第i个个体的智商测验得分,若该人群的期望智商为μ,则第i个个体在一次智商测验中的得分可以表示为:xij=θi+eij=μ+ei+eij,其中ei为第i个个体的自然变异,eij为第i个个体第j次测量的测量误差。根据以往积累的资料,已知在某年龄儿童的智商真值θN(μ,τ2),其中μ=100,τ=15,个体智商测验得分XiN(θi,σ2),其中σ=10。现在一名该年龄儿童智商测验得分为115,问:(1)该儿童智商真值是否高于同龄儿童的平均水平(θi100)?(2)若取θi(a,b)为正常,问该儿童智商是否属于正常?

  一、用经典统计方法解答

  对第一问,设H0θi≤100 H1θi100,按照经典统计学方法,若H0成立,则有:

 

  因此,α水平下的拒绝域为{x:x100+σ·u1-α

  已知σi=10,若取α=0.05,有u0.95=1.645100+10×1.645=116.45

  现有x=115,因此,在0.05水平尚不能认为该儿童智商高于平均水平。

  对第二问,经典方法需要进行两次分别针对ab的单侧检验。过程与第一问相似,这里不再叙述。

  二、用贝叶斯方法解答

  在贝叶斯学派中,当θi未知时,将其看作随机变量,与θ具有相同的分布,这是贝叶斯学派与经典学派的一个重大区别。

根据贝叶斯理论,若XN(θσ2),其中σ2已知,θ未知,但已知θ的先验分布是N(μτ2),其中μτ2均已知,则给定xθ的后验分布为N(μ(x),ρ-1)其中(证明参见文献[1)

  由此得到,本例中该儿童智商θi的后验分布为N(110.3869.23)

  对第一问,同样设H0θi≤100 H1θi100,查正态分布表可以得到:

P(H0θi≤100|x=115)=0.106

  P(H1θi100|x=115)=0.894

  根据风险最小原则拒绝H0,接受H1

  对第二问,设H0aθib H1θiaθib,查正态分布表可以分别得到PH0aθib|x=115}和PH1θiaθib|x=115},类似第一问,依据风险最小原则作出推断。

  讨 论

  由上述分析和例子,我们可以看出,用贝叶斯方法处理假设检验问题至少在下述几方面具有明显优势。

  一、先验信息利用的充分性和风险的直观性

  从前述问题的处理,我们清楚地看到,经典方法只使用了Xi的已有信息(贝叶斯学派称之为先验信息),而贝叶斯方法则同时利用了Xiθ的先验信息。因而在第二问的解决上,贝叶斯方法较经典方法少进行一次假设检验。

  在贝叶斯方法中,由于导出了样本x下的后验分布,可以对风险给出正面的回答,因而较经典方法下的间接判断更直观。

  二、可以将后续问题纳入考虑范围

  如果推断错误在后续问题的解决过程中会造成一定损失,贝叶斯方法在进行推断时可将这一损失考虑在内。如:

  在假设H0∶θ∈Θ0H1∶θ∈Θ1(Θ0Θ1是参数空间内两个互补子集)下,有:

 

  Φ等于01分别代表拒绝、接受H0a0a1分别代表了第一、第二类错误造成的损失,这时,贝叶斯方法给出如下决策函数:

 

  由于可以将假设检验结果带来的损失纳入检验考虑的范畴之内,因而对问题的回答更接近实用。

  三、多重假设的处理不存在困难

  对多重假设,如将前例第二问改为:若θi∈(a,b)为智力正常,θia为智力低下,θi≥b为智力超常,问该儿童智力属何种类型?

  在现有条件下,经典方法很难处理这一问题。而贝叶斯方法对这一问题的解答并不存在特殊的困难,只需将假设设为:H0∶a≤θib H1∶θia H2∶θi≥b,多计算一个后验概率便可

贝叶斯方法的上述优势对于解决实际问题很有帮助。

  尽管在理论方面还存在一些困难,但不容否认的是,贝叶斯方法已经成为决策论的一个基本工具,在社会学、经济学等领域发挥着重要作用。在临床医学、预防医学、卫生事业管理等决策领域也一定能发挥重要作用。国内医学统计学界目前对贝叶斯方法的关注较少,加强这方面的研究工作,无疑将是有益的。

(在此特别感谢张尧庭教授、余松林教授对本文的指点。)

  参考文献

  1.James O.Berger.贾乃光译.统计决策论及贝叶斯分析.中国统计出版社,1998,159172.

  2.Christian P.Robert.The Bayesian Choice:A Decision-Theoretic Motivation.Spring-Verlag New York,Inc.1994,179209

  3.张尧庭,陈汉峰编著.贝叶斯统计推断.北京:中国统计出版社,19947888

  4.张尧庭著.统计中的三大学派.统计教育,1995,1:3539

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多