把P值的阈值降到0.005后，你还能毕业吗？

对于研究者来说，P值可能是最熟悉的统计指标，也是饱受争议的一个指标。尤其是当越来越多基于“统计显著性”而发表的文章结果缺乏可重复性时，质疑P值的文章最近也越来越多。

近期72位科学大牛在Nature Human Behaviour上发表了一篇文章（Redefine statistical significance），提倡P值阈值要降到0.005，弄得大家人心惶惶。

发表在JAMA杂志上的ViewPoint：

小于0.005才算阳性？那估计不要毕业了。

这个问题笔者认为可以从三个方面来看待：

首先，统计学上从来没有说P值阈值只能是0.05。这个所谓的阈值其实是显著性水准（alpha），它是指允许犯一类错误的概率。统计教材上每次检验之前都要求声明alpha等于多少，就意味着这个值不是铁定的，而是需要事先根据研究情况确定即可。事实上，统计学中的alpha本来就不是固定值，例如正态性检验的显著性水准可以是0.1，方差分析后的多重检验的时候显著性水准也是会变化。

其次，该文章并没有说P值阈值要一刀切地降到0.005，而是说在某些领域，例如找到新发现时，建议将允许犯一类错误的概率降低到0.005，这样可以避免大量不可重复的“新发现”。

最后，即使P<>也不代表结论一定是可靠的哦。你的研究设计是否随机双盲？有没有考虑其他混杂因素？做了多少次假设检验？样本量多少？理论上讲，即使降低阈值，如果样本量无限放大，总有可能得到P<>所以该文章的作者也说了，把显著性水准降到0.005，并从没有根本上解决P值误用的所有问题，但是对于非统计专业的研究者来说，这是降低不可重现“新发现”的最便捷的方式。

其实，对于统计学家来说，P值与假设是否成立还真不是那种要生要死的关系。

P值是什么？ P值的官方定义为：“在假设零假（Null Hypothesis,H₀）设为真实情况下，出现所获得样本或比现有样本更为极端的概率”。是不是很晦涩？我们来解读一下：首先，P值是个概率，但不是衡量H₀是否成立的概率。因为在算P值的时候，注意，你已经假定H₀是成立了（不懂此句话者，默念定义3遍）。

举个例子，如果H₀为总体有效率为80%。而你算出来的P-value=0.035,“总体有效率为80%”成立的概率为0.035这种说法是完全错误的。

那么问题来了：P值到底代表什么的概率呢？

美国统计局也见不得大家往P值身上乱扣帽子，专门发文澄清：

“P-values can indicate how incompatible the data are with a specifiedstatistical model”P值能显示样本数据与特定的统计模型（即H₀）不相容的程度。即P值表示的是你的数据和你的原假设相容的概率。

理解了这一点，就可以利用P值是否小于某一阈值作为H₀非黑即白的依据是多么的荒谬。

举个例子，研究某个药物是否有效，可能有人会先作一个假设H₀：该药物无效。然后根据样本数据算出一个P值等于0.035，小于通常的阈值0.05，便判断药物有效。那假如把阈值改为0.0005，那这个药物是不是就可以判断为无效了？换句话说，该药物是否真正有效完全取决于阈值的大小咯。

之所以出现这样荒谬的现象在于把P值小材大用了。P值不是衡量H₀是否成立的概率，它只能衡量你的样本数据与你的H₀是否一致。所以现在你是否可以理解统计书上下的结论都是“P<>，拒绝H₀”而不是” P<>₀不成立了”吗？

总之，计算P值本身没有问题，但是利用P值来乱下结论就不好了。