【原】读书 | 《学会提问》第9、10章

第九章：证据的效力如何：个人观察、研究报告和类比

个人观察作为证据

我们所“见”所说的都是经过一系列价值观、偏见、态度和期待过滤后剩下的东西。

研究报告作为证据

1、可验证性，它追求的信息是以公开证实过的数据的形式出现的，其他人也可以。

2、可控性——可以使用特别的程序来减少观察和研究成果诠释中出现的错误。

3、语言精确。

研究发现中存在的一般问题

（1）研究质量有高有低

（2）研究成果常常会互相矛盾（解决方法：其他的研究人员有没有核实过这些发现？）

（3）研究发现并不能证明结论（解决方法：把“研究结果表明……”换成“研究人员解释，他们的研究发现表明了……”

（4）不论一个科学报告看上去多么客观，还是难免会夹杂严重的主观因素。

（5）演说者和写作者常常歪曲或者简化研究结论。（解决方法：注意限定）

（6）研究的“事实”会随着时间的流逝而发生改变，尤其是人类行为。

（7）研究的人工程度会引起研究的变化。

（8）对经济效益、社会地位、人身安全和其他因素的需求可能会影响研究结果。

科学研究的一些线索

（1）报告的资料来源质量如何？

（2）研究的过人之处？

（3）研究实施的时间距离现在有多久？会不会随时间改变

（4）该研究的发现有没有被其他的研究重复过？

（5）项目如何挑选？是否忽略不支持的？只选择了支持的？
（6）是否有强势批判思维的证据？有持批判态度吗？

（7）有没有理由让人蓄意歪曲这项研究？

（8）研究进行的客观条件和研究者总结概括的研究环境有多少相似之处？

（9）根据研究样本，我们概括的范围到底有多大？

（10）研究人员所使用的调查报告、问卷调查、等级评定或其他测量结果有没有偏见或者歪曲的现象存在？

强求确定性谬误（impossible certainty fallacy）：认为一个研究结论如果不是百分百确定，就应该被抛弃。

从研究的样本来概括

如何评价研究样本：

（1）样本覆盖率必须要大到足以产生概括或得出结论的程度。（越大越好）

（2）对研究者将要从中得出结论的所有事件的类型，样本必须覆盖足够的范围，包括样本应足够的多样性。

（3）样本的随机性越大越好。

从研究的测量方法来概括

“采用了什么样的测量方法，它们的满意度怎么样？”

“有没有其他方法来测量这个概念，如果有的话，它们有没有可能提供不同的结果？”

片面的调查和问卷

有人可能不说实话；调查的问题可能会有多重解读（解决：这个调查里的问题是怎样措辞的？）；调查本身有偏见：措辞偏见（biased wording）语境偏见（biased context）解决方法：特别要小心查看问题的遣词用字。

哪怕是片面的调查也可能会承载大量的信息，但是你需要知道偏见之所在，防止自己过分被调查结果所说服。

将类比作为证据

类比论证（argument by analogy)

识别和理解类比

评价类比：

方法一：（1）两个作比较的事物之间相同和不同的方式。（2）相同点和不同点之间的相关性。

方法二：（1）找到你正在研究的情况的一些主要特征（2）尽量找出你所熟悉的与上述情况有共同特征的其他情况，开动脑筋。尽量想象出多种不同的情况。（3）尽量判断熟悉的情况是否能为你提供关于不熟悉的情况的一些洞见。

错误类比谬误（fault analogy fallacy）:类比中存在重要而特别相关的不同点

专家观点什么时候最可信

推荐书目：《大错特错：为什么专家老是靠不住》《怎么知道何时不能相信专家》

建议：思维领先，情感随后

科学研究和互联网

一个网站的创建者很可能有一个政治的、商业的甚至是艺术的标准 要小心

第十章：有没有替代原因

什么时候应该去找替代原因——注意词汇，如导致了，影响了，与……有关，阻止了……，增加了……的可能，决定了……，与……有联系，有……的效果

找到替代原因

我能不能找到其他的方法来解读这个证据？

还有什么别的东西可能会引发这个行动或导致这些发现？

如果我从另一个角度来看这个问题，那么我可能会把哪些东西当成重要的原因？

如果这个解读是不正确的，还有什么别的解读可以说得通？

唯一的原因，还是原因之一——防止过度简化因果关系谬误（causal oversimplication fallacy）：依赖并不足以解释整个事件的有因果关系的因素来解释一个事件，或者过分强调这些因素中的一个或多个因素作用。

多种视角可作为寻找替代原因的指导——寻找不同领域的人对同一事件的看法

组间差异的替代原因——解决方法：随机化实验设计（the randomized experiental design)

相关性不能证明因果

因果混淆谬误（confusion of cause and effect fallacy）：将事件的起因和结果相混淆或是认不出两件事之间可能是相互影响的关系。

忽略常见原因谬误（neglect of commen cause fallacy）：认不出两件事之间之所以有联系是因为常见的第三种因素在起作用。

混淆“在这之后”与“因为这个”之间的关系

事后归因谬误（post hoc，ergo propter hoc)：假设某事件乙是由另一件事甲所引发，仅仅因为乙在时间上紧随在甲之后发生。解决方法：除了时间先后顺序的事实外，还有其他可靠的证据吗？

很多事件并非只有一种解释

评价替代原因

比较原因时，使用下列标准

（1）逻辑上的合理性。哪些原因对你而言最说得通

（2）和所学的其他知识一致性

（3）以前在解释或预测类似事件上的成功率

（4）和其他解释相比，大量已接受的事实能说明这个解释的程度

（5）它至今被极少已接受的信念推翻的程度

（6）与相对的解释比较，它解释大量事实以及各种类型的事实的效力

替代原因和你自己的表达和交流——拆成一步步

发掘潜在的原因

学会的教训