预测模型校准曲线 | Calibration curve (上篇)

1论文实例

2016年发表在 J Clin Oncol （SCI影响因子26分）的研究对大肠癌患者术前运用放射组学方法，对淋巴结转移情况建立预测模型与模型验证。Development and Validation of a Radiomics Nomogram for Preoperative Prediction of Lymph Node Metastasis in Colorectal Cancer.

做了预测模型校准曲线 （Calibration curve），两个图分别是建模队列和验证队列。图的横坐标是预测概率：用预测模型对事件发生的可能性（Probability）进行预测，0到1表示发生事件可能性是0到100%。纵坐标是实际概率：患者实际的事件发生率。红色的线是拟合线，表示预测值对应的实际值。

结果解读：

如果预测值=实际值，则红线与参考线（蓝线）完全重合；

如果预测值＞实际值，即高估了风险，则红线在蓝线上面；

如果预测值＜实际值，即低估了风险，则红线在蓝线上面；如果能把点估计的波动范围展示出来证据级别高一些。

2论文实例

2008年发表在 J Clin Oncol 的预测结肠癌复发的研究。Individualized prediction of colon cancer recurrence using a nomogram.

图3是校准曲线，AB两图分别预测60个月和120个月结局事件。同样横纵坐标分别是预测概率和实际概率。与论文实例1不同的是：

1、坐标范围不是0-1，而是根据实际情况的取值范围绘制的。这样做是符合做图规范的。

2、展示了点估计的波动范围。证据级别高一些。

3、本研究把不同时间发生的结局画在两个图上，下面这篇论文则呈现在一张图上。3论文实例

2011年发表在 Lancet Oncol（SCI影响因子36分）的研究，对慢性乙型肝炎进展为肝细胞癌建立预测模型进行风险评估和验证。

Calibration chart展示了三条线：Y发生时间分别是3、5和10年（红、蓝和绿线）。结果解读：

1、当风险较低时（小于10%），三条线均在参考线的上面，即高估了风险；

2、当风险较高时（大于10%），蓝线和绿线与参考线很接近（基本重合），即未高估或低估风险；

3、横纵坐标轴的刻度间距不是等距分布的，而是等比例（10倍）分布的。这是根据本研究数据分析情况选择的，符合做图规范。

4、本例没有显示每个点的波动范围。目的是显示三条线的分布，如果要显示波动范围，最好分开做三个图（如论文实例2）4论文实例

有的研究点会密一些，这里有10条线。波动范围大，与样本量小有关。

Nomogram for Preoperative Estimation of Microvascular Invasion Risk in Hepatitis B Virus–Related Hepatocellular Carcinoma Within the Milan Criteria. JAMA Surgery, 2015.  SCI IF=8.4

五花八门的Calibration curve

该如何选择呢？

JAMA发表指南出大招

2017年在JAMA上发表的临床预测模型的区分和校准指南。Discrimination and Calibration of Clinical Prediction Models: Users' Guides to the Medical Literature. JAMA, 2017.

指南中给的Calibration curve就更漂亮一些，用曲线形式展示。

图中横坐标是预测模型得出的风险评分，纵坐标是实际值死亡率。黑色的点和线是实际观察到的1年死亡率和95%CI，黄色的曲线是模型预测的1年的死亡率。

指南中写到用肉眼看（visual）是最佳的评价校准曲线的方式（is the best way to evaluate calibration），也提到有统计学方法可以计算预测值和观测值的统计学差异(eg, the Hosmer-Lemeshow test)，然而指南中并不推荐依靠p值评价校准曲线，并且用了三段来阐述不建议根据统计学检验计算p值的原因，在此就不详细讲述了。5论文实例

这是指南中推荐的参考文献的做法，用曲线拟合的方式呈现校准曲线，并用肉眼结合指标的临床意义判断临床实用价值。

可见当实际死亡率大于30%时，预测模型会低估死亡风险。临床价值在于：某些患者预测模型得出死亡风险是30%，很可能选择药物治疗并推迟心脏移植治疗时间，然而其实际死亡风险可能接近50%。因此，使用该模型会导致一些患者不适当地推迟移植。原文如下：

Predicting survival in heart failure: validation of the MAGGIC heart failure risk score in 51 043 patients from the Swedish Heart Failure Registry. European Journal of Heart Failure, 2014. SCI IF=10.66论文实例

2017年 Eur Urol杂志（SCI影响因子17.5分）发表临床研究基于国家癌症数据库，分析局部治疗对转移性前列腺癌患者总生存率的影响。也采用了曲线拟合的形式做校准曲线，并且做了分层分析。The Impact of Local Treatment on Overall Survival in Patients with Metastatic Prostate Cancer on Diagnosis: A National Cancer Data Base Analysis.

核心结果解读：横坐标是预测的死亡概率，纵坐标是实际存活概率。

当预测的死亡概率=30%时，红线在蓝线上面，表明局部治疗（LT）比非局部治疗NLT实际存活率高；

当预测的死亡概率≥72%时，红线在蓝线下面，表明LT比NLT实际存活率低；

因此，得出基线情况好的患者，LT疗效好的结论。临床用途：用基线指标给患者做预测，如果预测死亡概率＜72%，则推荐用局部治疗方案。

操作实例

例如：用多个临床（如年龄、性别和BMI）指标建立结局指标Y的预测模型绘制校准曲线。

首先看数据结构：

需要有结果变量（是否发生事件），这个事件可以是死亡（是/否），也可以是发病(是/否）。通常没有发生事件编码为0，发生事件编码为1。

把原始数据整理到一张表中，每个研究对象一行，全数字编码，缺失的数据可以空着。

易侕软件操作

第一步：数据操作的计算残差与预测值模块，给出结果变量、自变量（单个或多个指标，可以是连续或分类变量），点击保存。得出后缀是PRED的新变量，范围是0-1，表明预测的事件风险。

第二步：数据操作菜单下的“平滑曲线拟合”模块，给出应变量（结局指标）、暴露变量（上一步得出的预测值）、曲线拟合分层因子（group），点击查看结果。

结果出来了，横坐标预测的事件发生率，纵坐标是实际事件发生率。红线是曲线拟合线，蓝线是95%CI。点的疏密程度代表样本量。图中绿色的线是参考线，即预测值=实际值的情况。可见红线在绿线的上面，表明预测值风险高于实际风险。

对！操作就这么简单！

注意：易侕软件输出的是曲线拟合 95%CI的图（png图片和pdf格式），以及用于绘制曲线的原始数据（Excel格式）。参考线（如上图绿线）是后期做图添加的，其实很简单，两点连起来就是一条线，本例中把0.2和0.6对应的横纵线一画，找到两个交点后连线就ok啦。