分享

模型对比(机器学习 逻辑回归)=预测TKA后步行限制

 阮朝阳的图书馆 2022-07-19 发布于浙江
图片
图片

小编今天解读的是KNEE(2.423)上发表的一篇文章《Machine learning methods are comparable to logistic regression techniques in predicting severe walking limitation following total knee arthroplasty》,本研究旨在使用机器学习方法来预测全膝关节置换术 (TKA) 后步行限制,并将其性能与逻辑回归进行比较,下面就来看看作者是分析思路。

图片
图片

01背景介绍

先前的研究表明,11-20% 的患者报告对全膝关节置换术 (TKA) 后不满意,并且患者的不满意与持续的功能限制有关 。因此,在将资源用于预防性护理方面,早期和准确地识别具有不良 TKA 后功能结果风险的患者将是可取的。

回顾文献,大多数 TKA 后身体功能的临床预测模型,都是使用传统的回归分析开发的。然而,机器学习是一种数据分析技术,通过从数据中迭代“学习”来开发算法来预测结果,作为回归分析的竞争替代方案,在骨科和风湿病中越来越受到重视。重要的是,机器学习有可能超越传统回归,这可能是因为它能够捕捉多个预测变量之间的非线性和复杂的相互作用 。

尽管如此,只有三项研究使用机器学习算法来预测 TKA 后的身体功能,并且只有两项研究将它们的性能与逻辑回归的性能进行了比较。鉴于识别具有不良功能结果风险的患者的临床重要性,并且鉴于 TKA 中机器学习研究的缺乏,本研究旨在使用机器学习方法来预测 TKA 后的行走限制,并将其表现与逻辑回归进行对比。假设机器学习算法在区分严重和非严重步行限制方面优于多变量逻辑回归模型。

02方法

数据来自新加坡中央医院的2013 年 7 月至 2017 年 7 月期间接受单侧原发性 TKA 的 5491 名年龄≥50 岁的患者。

数据纳入排除标准:

1. 在 TKA 后 6 个月内接受过膝关节翻修手术的患者(n = 16)被排除在外;

2. 有类风湿性关节炎病史的患者(n = 58)被排除在外;

3. 中风或帕金森病患者(n = 108)被排除在外;

4. 对于连续入院 TKA 的患者(n = 863),仅使用他们第一次入院时的数据。

5. 在剩余的 5309 名患者中,选择了一组 6 个月随访结果未丢失的 4026 名患者将其纳入。纳入的患者与因缺失数据而被排除的患者相似(Table 1  显示了患者的人口统计学和术前特征)。

图片
图片

03结局

主要结局是严重的术后(6 个月)行走受限。选择中间(6 个月)时间点是因为(1)模型预测准确性可能会随着时间范围的延长而降低;(2)了解TKA不良结果的中期(6 个月)风险将有助于患者教育和康复规划。

患者被要求估计在手术膝关节出现严重困难之前他们能够行走(不休息)的时间。该变量有四类:(1) > 30 分钟,(2) 16-30 分钟,(3) 5-15 分钟,和 (4) 仅在房子周围。严重步行受限定义为最大步行时间≤15 分钟(严重步行受限 = 3 和 4 类的严重步行受限 = 1,否则严重步行受限 = 0)。

04模型开发

除了缺失 7.7% 的“教育水平”变量外,所有其他预测变量都以非常低的水平缺失(0.02% 到 0.5%)。对缺失数据执行单次插补。八种常见回归(逻辑、带样条的有序逻辑、L-1 惩罚逻辑 、L-2 惩罚逻辑 和 L-1/L-2 惩罚逻辑 )和集成机器学习(随机森林、极端梯度提升和 SuperLearner)方法被用来预测严重步行受限的概率。值得注意的是,选择这些机器学习方法是因为它们已成功用于临床研究。

1.逻辑回归

首先拟合包含所有变量的逻辑回归模型。为了创建一个可以比较所有其他模型的性能的参考模型,假设了加性预测器效应,并且连续预测器的(回归)系数与具有严重步行限制的概率的logit线性相关。然后将比例优势序数逻辑回归模型拟合到序数(非二分法)步行限制结果,并将序数模型中的所有连续预测变量建模为具有三个节点的受限三次样条。进一步拟合了三个惩罚逻辑模型。第一个模型是具有最小绝对收缩和选择算子 (LASSO) 的逻辑回归。第二个模型是带有岭正则化的逻辑回归。第三个模型是带有弹性网络正则化的逻辑回归。

2.随机森林

随机森林是一种基于集成树的机器学习方法,它在数据的引导样本上拟合多个分类和回归树。在拟合一棵树时,随机森林算法会考虑每个节点处预测变量的随机子集,并迭代地识别其中的最佳分割,以最大限度地将结果分成具有不同结果概率的两组。使用随机数量的预测变量,可以创建彼此之间相关性较低的不同树,从而潜在地提高预测准确性。为了减少模型方差,随机森林算法使用“装袋”过程,该过程对来自引导样本上生长的不同树木的预测进行平均。使用训练数据集的重复交叉验证确定每个节点考虑的预测变量的最佳数量。

3.XGBoost

梯度提升是一种基于集成树的机器学习方法,它顺序拟合一系列分类和回归树,每棵树的创建都是为了预测被前一棵树错误分类的结果。通过创建树来预测先前树的残差,梯度提升过程专注于预测更困难的情况并纠正其自身的缺点。这种“提升”过程迭代的继续,树的深度、学习率和树的数量都使用重复的交叉验证进行了优化。极端梯度提升 (XGBoost) 是梯度提升过程 的一种具体实现,它使用内存高效算法来提高计算速度和模型性能。

4.SuperLearner

SuperLearner 是一种集成机器学习方法,它从一组预测算法中创建最佳预测算法。通过交叉验证这些候选算法,SuperLearner 对它们的预测进行最佳加权和组合,并且这种“堆叠”过程已被证明与最佳个体候选算法一样渐近准确。在这项研究中,XGBoost、随机森林、二元逻辑回归、LASSO 逻辑回归和岭正则化逻辑回归被用作候选预测算法。

05模型性能

为了验证模型,使用了包含外部和内部交叉验证循环的嵌套交叉验证 (Fig 1)。在外循环中,对数据集进行了 200 次重复的随机拆分,将其分为训练(70% 的样本)和验证(30%)数据集。在内部循环中,机器学习和惩罚逻辑回归模型的超参数使用五折交叉验证的三次重复进行优化,最终模型(具有优化的超参数)被拟合在整个训练数据集上。这些模型被应用于验证数据集,并通过三种方式评估它们的性能。

首先,模型辨别是通过接收器操作特征 (AUC) 曲线下的面积来衡量的,其中 1.0 的值表示完全辨别,0.5 表示没有辨别。具体来说,AUC 是随机选择的患有该事件(严重步行受限)的患者比随机选择的没有该事件的患者具有更高预测风险的概率。其次,使用loess-smoothed校准图评估模型校准,并计算预测概率和loess校准概率的平均绝对误差。第三,计算 Brier 分数,其中0值表示完美的整体模型性能。值得注意的是,虽然AUC衡量模型歧视,但Brier分数是预测概率和观察到的二元结果之间的平均二次差,因此包括区分和校准方面。从外部交叉验证循环,计算平均性能指数及其 95% 置信限。最后,为了深入了解预测变量在最佳逻辑回归和机器学习方法中的相对贡献,计算了 Waldχ2 统计量减去自由度 (χ2 - df) 以获得最佳逻辑回归回归和基于AUC的排列重要性度量被计算为性能最佳的机器学习方法。

图片

06结果

Fig 2总结了机器学习和逻辑回归模型的辨别和校准性能。在模型区分方面,最佳逻辑回归模型(有序回归)和最佳机器学习方法(XGBoost)的交叉验证 AUC 相似(AUC 差异,0.002;95% CI [- 0.015, 0.018])。值得注意的是,与二元逻辑回归模型(平均 AUC:0.751)相比,具有样条项的有序逻辑回归模型的 AUC 差异最大(AUC 差异,0.006;95% CI [- 0.008, 0.019])。随机森林模型的区分度最低。

图片

 在校准性能方面,以预测和loess校准概率的平均绝对误差为索引,有序和惩罚(L-1/L-2 和 L-2 范数)逻辑模型和 SuperLearner 是最好的校准模型之一。同样,就整体性能而言,以Brier分数为索引,有序逻辑回归模型(带有样条项)是性能最好的模型,而 SuperLearner 是性能最好的机器学习方法。Fig 3显示了有序回归模型和 SuperLearner 中的前十个预测变量。对于这两种方法,年龄和术前身体功能(即术前步行限制水平、术前使用的步态辅助设备类型和术前 SF-36 身体功能)是最重要的预测因素。尽管两种方法的前四个预测因子相同(等级不同),但一些预测因子在有序逻辑回归模型中是唯一的,例如“由成人重建专家操作”、“抑郁症”和“种族:马来人”,而“焦虑症” ”和“下跪难度”仅在 SuperLeaner 方法中列出。

07局限性

1. 数据仅来自一个机构。

2. 研究了相对较少的预测因子,因此,一个潜在的批评是我们没有利用机器学习方法处理大量预测变量的能力,这可能会限制机器学习技术优于传统逻辑回归建模的能力。此外,模拟分析表明,机器学习方法可能需要比逻辑回归大得多的有效样本量,以避免模型过度拟合并在交叉验证的 AUC 中产生较小的乐观情绪。

3. 虽然深度学习是生物医学研究中发展最快的工具,但深度学习并未用于分析数据,因为目前深度学习的应用主要集中在成像数据分析并且需要非常大的数据集。因此,在具有放射照相或成像预测因子的研究中,深度学习或机器学习可能优于逻辑回归。

小编解读:

文献对于机器学习方法使用了SuperLearner、XGboost、随机森林,多增加一些机器学习模型如SVM、Adboost、LigtGBM的分析是否会有更好的效果?

结语

临床研究的根本使命是发现并解决生命科学领域亟待解决的临床问题,同时,为即将发生的临床难题提供备选解决方案。

打开极智分析—智能医学统计分析平台 https://www./ 进行实操吧!

点击“阅读全文”参加有奖活动,内含超大福利,不要错过哦!

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多