|
原文：Seven Common Errors in Decision Curve Analysis 在进行决策曲线分析时，常常会犯一些错误。感觉此文讲得挺好，尤其是第5条，简单翻译整理了一下与君共享。Steyerberg等人在其关于预测模型评估的经典论文中概述了一个三步过程：区分度（Discrimination）、校准度（Calibration）和临床实用性。我们首先要问：我们的模型是否区分了有疾病和没有疾病的人？如果是这样，我们继续问：模型预测给出的单个患者的风险与他们的真实风险相对应吗？但是即使前两个问题的答案是肯定的，我们仍然要问，在临床实践中使用该模型来帮助临床决策是否弊大于利。Steyerberg等人明确建议将决策曲线分析作为评估模型临床实用性的方法。决策曲线分析目前广泛应用于医学研究。例如，在2022年，PubMed发现有1500多篇论文在摘要中使用了“决策曲线分析”这一术语，当然还会有更多的论文使用这种方法，但在摘要中没有使用这个确切的术语。自然地，决策曲线分析有时使用得很好，有时使用得不太好。下面我将讨论一些在实践中常见的错误。有关决策曲线分析的更多信息，包括代码、教程、数据集和介绍性论文的参考书目，可参阅www.decisioncurveanalysis.org。错误1：未能指定临床决策 统计预测模型的创建通常是为特定的医疗决策或少量相关决策提供信息。例如，预测患者患癌症风险的模型通常用于为活检决策提供信息；预测术后并发症风险的模型可能用于选择进行“康复性训练”（风险中等）的患者或建议患者不要进行手术（风险高）。决策曲线分析评估这些决策，如果患者遵循预测模型，与“全部治疗”或“全部不治疗”的默认策略相比，其临床结果是否有所改善。然而，如果调查人员没有具体说明决策，那么就很难看出决策曲线分析实际评估的是什么。一个例外是用于患者咨询的一般预后模型。癌症护理就是一个例子。癌症患者自然会问“医生，你认为我还能活多久？”因为有各种各样的个人决定都是基于这样的答案：我应该退休吗？开始那个新项目？把我的财务安排好了吗？去看我的孩子？这类模型是证明（指定临床决策）这一规则的例外。因此，决策曲线分析应明确所研究模型将告知的决策，或者声明这是一个通用的预测模型，用于告知非常广泛的个人咨询决策。错误2：显示的阈值概率范围太宽 在明确旨在告知特定决策（如活检或预防性治疗）的模型中，决策曲线分析并不罕见。x轴包含了非常宽的阈值概率范围，这些阈值概率中的许多都是无信息的。例如，没有必要知道癌症预测模型在阈值概率为80%时的净收益，因为在同意活检之前，任何合理的决策者都不应该要求癌症风险达到80%。除非评估如上所述的用于一般患者咨询的预后模型，研究人员应预先指定一个有限的合理阈值概率范围，并将x轴限制在该范围内。该规则的一个合理例外是，阈值概率的下限较低，例如5%或10%，在这种情况下研究人员可以选择将x轴从0开始。错误3：x轴下方空白区域太多 负净收益并不是很有趣。研究人员应截断y轴，使其从净收益的某个负水平开始，-0.01是一个典型的选择。这样图表显示曲线具有负净收益的位置，而不会在y轴下方产生过多的空白。左边的图（你想避免的）和右边的图（其中y轴被截断，Stata中“ymin(-0.01)”，R中“ylim=c(-0.01,0.04)”）。
在设置图形参数时应小心，否则可能使曲线悬挂在x轴上方，如下图：
这样是有问题的。因为我们需要知道净收益在哪里小于零，尽管不知道少多少。随着阈值概率的增加，净收益应该连续而流畅地减少直到它达到零，在这一点之后它可能会继续减少，或者在某些情况下，对于阈值概率的所有较高值，它都保持为零。然而，当从有限的数据集计算净收益时，统计不精确性（“噪声”）可能会导致局部失真。例如，因为偶然因素，可能没有患者的预测概率处于给定的概率阈值，但接下来有几个患者的预测概率处于最高水平，这会导致阈值概率的微小变化导致净收益的巨大差异，如左图所示。在右侧图表中，净收益设置为每2.5%计算一次（例如，通过Stata中的"xby(0.025)"或R中的"thresholds=seq(0,0.4,0.025)"，并添加了一个平滑器（例如，Stata中"smooth"或R的"plot(smooth=TRUE)"）。应该指出的是，统计学家在这一点上存在一些分歧。有些人觉得你应该真实地“展示数据”。我的观点是，图表应该反映出对潜在科学真理的最佳猜测，其将是一条没有局部失真的平滑曲线。
决策曲线分析涉及三个步骤：指定合理的阈值概率范围；计算该范围内的净收益；确定模型在整个范围内的净收益是否最高。一些研究人员使用决策曲线的结果来选择模型的阈值概率，而不是使用阈值概率来评估模型。例如，见下图，预测癌症活检结果的模型的决策曲线，其中显示了用于说教目的的广泛的阈值概率。一些作者可能会得出错误的结论，即该模型应在阈值概率为25%-50%的情况下使用。正确的结论是，由于活检的典型阈值约为10%，与对所有患者进行活检的默认策略相比，使用该模型会造成伤害。
决策曲线分析不能避免研究人员忽视统计分析的实际结果并宣布成功的不幸趋势。上面“错误5”下显示的决策曲线清楚地表明，该模型不应用于告知是否进行癌症活检，但研究人员可能会说该模型“在广泛的阈值概率范围内显示出净效益”。在同一数据集上创建和测试的模型容易出现过度拟合，因此它们看起来比实际具有更好的性能。有许多简单且广泛使用的方法可以纠正过度拟合。这些应用于区分度（例如ROC曲线下的面积）的计算并不少见，但在决策曲线中却被忽略。作者可以使用交叉验证方法为数据集中的每个患者创建预测概率，然后使用这些概率来计算ROC曲线下的面积和决策曲线分析的净收益。已经发表了一篇描述这种方法的方法论论文，并在www.decisioncurveanalysis.org上的教程中提供了分步说明。
|
