分享

文献质量那么差,你不知道怪谁?

 微笑如酒 2017-12-08

往期回顾

Meta分析的数据提取

点击图片查看原文

上一期,小编和大家学习了Meta分析的数据提取(回顾请点击上面文章),在整理好各方面信息的基础上,那么接下来我们要做的就是对这些文章进行一个质量评价,来保证我们Meta分析的质量。


举个例子

假设

我们确定研究目的,通过检索策略最终纳入数篇为10篇之后,就有必要对纳入的文献进行一个评价,关于其质量、方法设计的评价。


原因

因为纳入的10篇研究有好有坏,良莠不齐,我们不能一股脑的对其进行简单粗爆的合并,而是需要明确你手里的文章到底是否设计合理,数据是否全面,质量是否过关,至少做到你自己心中有个数,有个秤去评断你合并结果的可靠性。


Meta分析有句名言:garbage in, garbage out。就是说高质量的文章合并所得出的结果,也一般是高可信度的。如果再有一定的临床意义,就有信心往高分的杂志进行试投。


如果纳进来的文章质量很失水准,有失偏颇,合并的结果连自己都很难说服,更别提是否具有推广价值,这是一个很现实的问题。


那说到质量评价,就少不了评价工具和评价标准。市面上对于临床干预RCT的评价方法琳琅满目百花齐放百家争鸣,因为不同的研究机构,不同的专家都会提出自己认为很有效的评价标准。


如何选择

A1.可以根据所投杂志的偏好进行评价工具的选择;


A2.采用我们一般采用权威Cochrane推荐的方法:

Cochrane手册的评价标准,共6点,手册以“是”,“否”和”不清楚”三种做为评价结果,其中选择给分制,每点低分险时给1分,总分6分为最高(分险最低,质量最好),低次类推。


现简单介绍下Cochrane手册的评价要点(只说明何时给1分)。


A:Sequence generation(序列产生):使用随机数字表,计算机随机,抛硬币,洗扑克或信封,抽签,掷骰子时给1分;

B:Allocation concealment(分配隐藏):中心化分配,同一外观、连续编号的药物容器,不透明的信封给药;

C: Blinding(盲法):有采用盲法给1分;

D: Incomplete outcome data(不完全结局资料):没有丢失结局数据,采用意向性分析给1分;

E: No selective outcome reporting(选择性结局报告):无选择性结局报告给1分(这里基本是一个灰色地带,一般都不会提及自己的研究是选择性报告),所以这时候有个protocol就很能帮助我们判断了;
F: Other sources of bias(其他偏倚来源):研究表现出没有其他偏倚来源给1分。


当然,这样过的质量评价终归的比较主观的。

但是,大家不要忘记有一个更好的接近去避免自身的主观,那就是根据文章发表的文献分值高低来评估分也是不错的捷径。


对于Cochrane手册的评价有兴趣的同学,我们倾情奉献出cochrane手册5.1.0版中的RCT质量评价中文文档给大家借鉴参考。(详细请查看文末)


好啦,一轮满满的干货。

小编是时候推出我们的诚意重磅福利罗!


本月福利

-我们专业的Meta培训团队

-3年发23篇SCI的金牌讲师

-用直播的形式手把手教你写出一篇Meta分析。


 立刻关注医龙教育,了解最新的干货吧!













对于课程有兴趣的同学,可以加入“医龙教育Meta直播互动6群”和客户小姐姐进行了解。


医龙教育Meta直播互动6群


Appendix


中文参考:

Table 8.5.a: The CochraneCollaboration’s tool for assessing risk of bias

偏倚类型

判断指标

评价员的判断

选择偏倚



随机序列的产生

足够详细的描述用于生成分配序列的方法,以评估产生的分组是否具有可比性。

生成随机序列不充分,发生选择偏倚

分配隐藏

足够详细的描述隐藏分配序列的方法,以决定干预的分配在纳入之前或纳入过程中是否可见

分配前分配隐藏不充分发生选择偏倚

实施偏倚



实施者和参与者双盲 应对每个主要结局进行评估(或分类结局) 

如果有,描述对参与者和实施者行盲法,避免其了解干预信息的所有措施。提供任何与所实施的盲法是否有效地相关信息。

参与者和实施者了解干预的相关信息导致实施偏倚

测量偏倚



结局评估中的盲法每个主要结局均应评估(或分类结局)


如果有,描述对结局者行盲法,避免其了解自己所接受的干预信息的所有措施。提供任何与所实施的盲法是否有效地相关信息。

结局评估者了解分配的干预措施将导致测量偏倚

失访偏倚



不全结局数据每个主要结局均应评估(或分类结局)

描述每个主要结局数据的完整性,包括分析中的自然缺失和排除。这些缺失数据是否报告,在各个干预组的数目(并与总样本量比较),数据缺失以及重新纳入分析的原因

不全结局数据的数量,性质,处理方式导致失访偏倚

发表偏倚



Selective reporting.

说明如何审查选择性报道结局的可能性,以及审查结果

选择性报道结局导致发表偏倚

其它偏倚



其它偏倚来源

说明不包括在上述偏倚中的其它重要偏倚

如果特定的问题或条目事先在计划书中指出,应对每一项说明

不包括在上述各项中的偏倚

 

Table 8.5.d: Criteria for judging risk of bias inthe ‘Risk of bias’ assessment tool

 随机序列的产生

随机序列产生不充分导致选择偏倚

判断为低风险的标准

研究者描述随机序列产生过程譬如:

  • 参考随机数字表

  • 使用计算机随机数字生成器

  • 扔硬币

  • 洗牌的卡片和信封

  • 掷骰子

  • 抽签

  • 最小化

 *最小化,可实现无随机元素,被认为相当于是随机的。

判断为高风险的标准

研究者描述序列的产生使用的是非随机的方法。通常是系统的非随机方法,例如:

  • 通过奇偶或出生日期产生序列

  • 通过入院日期产生序列

  • 通过类似住院号或门诊号产生序列 

相对于上面提到的系统方法,其它非随机的方法少见的多,也更明显。通常包括对参与者进行判断或非随机的方法,例如:

  • 临床医生判断如何分配

  • 参与者判断如何分配

  • 基于实验室检查或系列测试的结果分配

  • 基于干预的可获取性进行分配

偏倚风险不清楚的判断标准

没有足够的信息判断随机序列的产生存在高风险或低风险

 分配隐藏

分配前不充足的分配隐藏导致选择偏倚  

低风险判断标准

参与者以及纳入参与者的研究者因以下掩盖分配的方法或相当的方法,事先不了解分配情况

  • 中心分配(包括电话,网络,药房控制随机)

  • 相同外形的顺序编号的药物容器;

  • 顺序编号、不透明、密封的信封

高风险判断标准

参与者以及纳入参与者的研究者可能事先知道分配,因而引入选择偏倚,譬如基于如下方法的分配:

  • 使用摊开的随机分配表(如随机序列清单)

  • 分发信封但没有合适的安全保障(如透明、非密封、非顺序编号)

  • 交替或循环

  • 出生日期

  • 病历号

  • 其它明确的非隐藏过程

风险未知

没有足够信息判断为低风险或高风险。通常因分配隐藏的方法未描述或描述不充分。例如描述为使用信封分配,但为描述信封是否透明?密封?顺序编号?

 对参与者和实施者的盲法

因参与者和实施者了解干预情况而导致实施偏倚  

偏倚低风险标准

任何如下标准:

  • 无盲法或盲法不充分,但系统评价员判断结局不太可能受到缺乏盲法的影响

  • 参与者和主要实施者均实施可靠的盲法,且盲法不太可能被打破

偏倚高风险标准

任何如下标准:

  • 无盲法或盲法不充分,但系统评价员判断结局很可能受到缺乏盲法的影响

  • 尝试对关键的参与者和实施者行盲法,但盲法很可能被打破,结局很可能受到缺乏盲法的影响

风险未知

任何如下标准:

  • 没有足够信息判断为低风险或高风险

  • 研究未描述此情况

 对结局评价实施盲法

结局评价者了解干预分配信息将导致测量偏倚

偏倚低风险标准

任何如下标准:

  • 无盲法或盲法不充分,但系统评价员判断结局不太可能受到缺乏盲法的影响

  • 参与者和主要实施者均实施可靠的盲法,且盲法不太可能被打破

高风险判断标准

任何如下标准:

  • 无盲法或盲法不充分,但系统评价员判断结局很可能受到缺乏盲法的影响

  • 尝试对关键的参与者和实施者行盲法,但盲法很可能被打破,结局很可能受到缺乏盲法的影响

风险未知

任何如下标准:

  • 没有足够信息判断为低风险或高风险

  • 研究未描述此情况

 结局数据不完整

不全结局数据的数量,性质,处理方式导致失访偏倚

偏倚低风险标准

任何如下标准:

  • 无缺失数据

  • 缺失数据的产生不大可能与真实结局相关(对于生存数据,删失不大可能引入偏倚)

  • 缺失数据的数目在各干预组相当,且各组缺失原因类似

  • 对二分类变量,与观察事件的发生风险相比,缺失比例不足以影响预估的干预效应

  • 对连续性结局数据,缺失数据的合理效应规模(均数差或标准均数差)不会大到影响观察的效应规模;

  • 缺失的数据用合适的方法进行估算

高风险判断标准

任何如下标准:

  • 缺失数据的产生很大可能与真实结局相关, 缺失数据的数目及缺失原因在各干预组相差较大

  • 对二分类变量,与观察事件的发生风险相比,缺失比例足以影响预估的干预效应

  • 对连续性结局数据,缺失数据的合理效应规模(均数差或标准均数差)足以影响观察的效应规模;

  •  意向治疗分析中存在实际干预措施与随机分配的干预相违背的情况

  • 对缺失数据进行简单的不合适的估算

风险未知

任何如下标准:

  • 没有报道缺失或排除的情况,无法判断高风险或低风险(如未说明随机的数量,未提供数据缺失的原因)

  • 研究未描述此情况

 选择性发表

选择性发表导致发表偏倚  

偏倚低风险标准

任何如下标准:

  • 实验的计划书可获取,系统评价感兴趣的所有首要或次要结局均按计划书预先说明的方式报道

  • 实验计划书不可得,但很明显发表的报告包括所有的结局,包括预先说明的结局(这种性质的有说服力的文字可能少见)

高风险判断标准

任何如下标准:

  • 不是所有的预先说明的首要结局均被报道

  • 一个或多个首要结局为采用预先说明的测量方法、分析方法或数据子集来报道

  • 系统评价感兴趣的一个或多个首要结局报道不全,以至于不能纳入meta分析

  • 研究未报道此研究应当包含的主要关键结局

风险未知

没有足够信息判断高风险或低风险,貌似大部分研究会被分为此类

 OTHER BIAS 

不包括在以上五种的其它偏倚

偏倚低风险标准

研究应未引入其它来源的偏倚

高风险判断标准

至少有一种重要的偏倚风险,例如:

  • 具有与特殊试验设计相关的潜在偏倚来源

  • 或被指欺诈

  • 或其它问题

风险未知

可能存在偏倚风险,但存在以下两种中的一种

  • 没有足够信息评估是否存在其它重要的偏倚风险

  • 没有足够的证据认为发现的问题会引入偏倚

 


 



    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多