【原】欧盟MDR，系统化临床评估程序（7）

“ Clinical Evaluation的Appraisal非常关键！”

    在深入的进行临床评估计划，文献检索，临床经验回顾以及临床试验的相关学习后，我们也同时掰扯了到底哪些器械可以不做临床试验，又有哪些医疗器械是必须要做临床试验的。好了最终完成的临床报告是不是需要评估一下，今天我们一起来学习这部分内容。

01

—

Appraisal的目的、计划！

        先从目的谈起，The purpose of undertaking appraisal of the data is to understand the merits and limitations of the clinical data. Each piece of data is appraised to determine its suitability to address questions about the medical device, and its contribution to demonstrating the safety, clinical performance and/or effectiveness of the device  (including any specific claims about safety, clinical performance and/or effectiveness). 进行数据评估的目的是了解临床数据的优点和局限性。对每一份数据进行评估，以确定其是否适合解决有关医疗设备的问题，以及其对证明设备的安全性、临床性能和/或有效性(包括任何关于安全性、临床性能和/或有效性的具体声明)的贡献。摘自IMDRF MDCE WG/N56FINAL:2019 (Clinical Evaluation) | 7.0 Appraisal of clinical data (Stage 2)

    所以我们可以说Stage 2的目的就是评读每个在Stage 1（identification）找到的资料的：Suitability 适用性，看看其是否适用于解决Stage 0找到的需要通过临床评估而解决的问题；同时还要看Contribution 贡献度，证明该器械安全性、临床效能、和或功效的能力。

    接下里就是如何做计划了，To ensure systematic and unbiased appraisal of the data, the evaluators should set up an appraisal plan that describes the procedure and the criteria to be used for the appraisal. 为了确保对数据的系统和公正的评价，评价人员应该建立一个评价计划，描述评价的程序和标准。摘自MEDDEV 2.7/1 (Clinical Evaluation，Rev. 4) | 9.2. The appraisal plan

        评估者应该在进行Stage 2之前先建立评价原则Appraising criteria，接着依据此原则开始进行评价。一开始要先检查Stage 1所用的资料识别方法是没有问题的，接着再评估Clinical Data内与安全或效能相关的结果，有多大程度是和本医疗器械有关，或者可能这些结果其实和本器械无关，而是被其它因素所影响例如：

1. Confounding influences (E.g., Natural course of the underlying medical condition、Regression to the mean、Concomitant treatment(s))、混杂影响(例如，基础疾病的自然过程、向平均值回归、伴随治疗)，

2. Bias 偏差

3. Random error 随机误差

4. Inadequate disclosure of information 信息披露不充分

5. Misinterpretation误解 误释

    但是MEDDEV 2.7/1 (Rev. 4，Sec. 9.3.1.)的解释是：Some papers considered unsuitable for demonstration of adequate performance because of poor elements of the study design or inadequate analysis may still contain data suitable for safety analysis or vice versa. 由于研究设计的要素不足或分析不充分，一些被认为不适合论证充分的性能的论文可能仍然包含适合安全性分析的数据，反之亦然。大实话:可能某Clinical Data对证明产品功效来说不是好的证据，但可以证明其安全性，反之亦然。MEDDEV 2.7/1 (Rev. 4)在9.1章节General considerations说明：stage1找到的文献其不确定性（Uncertainty）会被下面的两个因素影响，methodological quality （要确认每篇文献的方法，这会影响到文献的科学效度）；要确认Relevance（确认资料与待解决问题的相关性）。

    所以说此阶段Appraisal plan的重点就在于可以影响到Uncertainty的methodological quality以及relevance，同时也要给出另一个重点就是如何评估文献的contribution。但是我想要知道的是到底有没有什么方法可以评估Scientific validity，relevance以及contribution么？目前没有一定以及确定的方法，但是大家可以参考IMDRF MDCE WG/N56FINAL:2019 (Clinical Evaluation)的Appendix E: Some Examples to Assist with the Formulation of Criteria，Appendix F: A Possible Method of Appraisal以及MEDDEV 2.7/1 (Rev. 4，Clinical Evaluation)的9.3. Conduct of the appraisal，还请大家仔细阅读。

02

—

Appraisal的工作重点

        先谈谈Scientific validity科学效度的评估，上市前后的临床试验，主要看sample size样本数量，endpoints评估指标，inclusion and exclusion criteria纳入和排除标准等等，具体参考Sec. 9.3.1.a. & 9.3.1.b. of MEDDEV 2.7/1 (Rev. 4)。

        TGA也有很多解释，Single arm studies (and other study designs) with no comparator arm are generally considered inadequate evidence. 没有比较臂的单臂研究(和其他研究设计)通常被认为是不充分的证据；Comparisons of datasets obtained through different methodologies (for example, a case series using the subject device with standard of care outcomes established from a literature search) are generally considered poor quality evidence and may be subject to greater scrutiny, as necessary, when assessing whether that data supports compliance with the EPs. 通过不同方法获得的数据集的比较(例如，使用受试者设备的病例系列与通过文献搜索建立的护理标准结果)通常被认为是低质量的证据，在评估数据是否符合ep时，可能需要进行更严格的审查；Clinical safety and performance should generally be expressed in terms of person-centred outcomes, such as mortality, morbidity, adverse events, and patient reported outcome measures (PROMs). 临床安全和表现通常应以人为中心的结果来表示，如死亡率、发病率、不良事件和患者报告的结果度量(PROMs)；Where study findings are expressed in terms of markers or intermediate measures of safety and performance, a clinically reasoned argument should be provided linking the study findings with patient centred outcomes. 如果研究结果是以安全和性能的标记物或中间措施来表示的，则应提供一个临床合理的论点，将研究结果与以患者为中心的结果联系起来.

        Vigilance data, device registry data, case series, patient dossiers, and other use data 警戒数据、设备注册数据、病例系列、患者档案和其他使用数据：例如在使用vigilance data时有注意有没有低保少报Under-reporting or lack of reporting不良反应与并发症。在使用这些资料时要注意很多问题，例如Have all the patients been considered? 所有病人都考虑过了吗? Are the patients representative of the use of the device? 患者是否具有使用该设备的代表性?等等，参考Sec. 9.3.1.c. of MEDDEV 2.7/1 (Rev. 4))。

        Data processing and statistics data数据处理和统计数据：例如资料转换方式是否适当？排除的资料是否合理？参考Sec. 9.3.1.d. of MEDDEV 2.7/1 (Rev. 4)。Quality Assurance 质量保证：是否遵守GCP ISO 14155等，参考(Sec. 9.3.1.e. of MEDDEV 2.7/1 (Rev. 4))。Report Quality 报告质量：要评估所收集到的资料中，是否有充分描述使用方法、是否充分揭露相关数据，结论是否与结果一致，参考(Sec. 9.3.1.f. of MEDDEV 2.7/1 (Rev. 4)) - Possible conflicts of interest of the authors of the publications should also be taken into consideration. 还应考虑到出版物作者之间可能存在的利益冲突。TGA也认为：Studies conducted by manufacturers or sponsors, or those who have received funding or support from manufacturers or sponsors, will be considered on their merits. Peer reviewed articles should clearly identify any conflicts of interest (actual or perceived). It is accepted that certain studies require support from manufacturers (such as large-scale pre-market approval studies) or will be conducted by manufacturers (such as PMCF studies). A discussion of the extent of involvement of manufacturers or sponsors should form part of the study report and the critical analysis contained in the CER. 由制造商或赞助商进行的研究，或获得制造商或赞助商资助或支持的研究，将根据其优劣予以考虑。同行评审的文章应该清楚地识别任何利益冲突(实际的或感知的)。公认的是，某些研究需要制造商的支持(如大规模上市前批准研究)或将由制造商进行(如PMCF研究)。关于制造商或赞助商参与程度的讨论应构成研究报告和CER中包含的关键分析的一部分。

    再来谈谈Relevance，要考虑到所找到的资料对于证明Safety，Clinical performance，Effectiveness是直接或间接的，还要考虑Benefits/Risks profile是否符合Current Knowledge/state of the art，以及是否有发现新的危害（Hazards）等等。MEDDEV 2.7/1 (Rev. 4)在9.3.2.c 列出How to determine the relevance of a data set for the clinical evaluation 如何确定临床评估数据集的相关性：To what extent are the data generated representative of the device under evaluation? 生成的数据在多大程度上代表被评估设备? 这是用目标医疗器械进行实验所得来的资料，还是类似器械？What aspects are covered? 涵盖了具体哪些方面？用来证明效能？安全性？或证明制造商的Claims？Are the data relevant to the intended purpose of the device or to claims about the device? 数据是否与设备的预期用途或有关设备的声明相关? 这些资料是否可以代表完整的预期用途（Entire Intended purpose）?或是只覆盖部分预期用途？还是一点关系都没有？

        同时来看看contribution，评估完scientific validity以及relevance之后就要看看贡献权重了，MEDDEV 2.7/1 (Rev. 4) 9.3.3 How to weight the contribution of each data set 如何对每个数据集的贡献进行加权里这样描述道：There is no single, well established method for weighting clinical data. 没有一个单一的、完善的方法来衡量临床数据的权重。但是提到了何种贡献度是最大的：generated through a well designed and monitored randomized controlled clinical investigation (also called randomised controlled trial), 通过精心设计和监测的随机对照临床调查(也称为随机对照试验)；conducted with the device under evaluation in its intended purpose, with patients and users that are representative of the target population. 对具有目标人群代表性的患者和使用者进行试验。

        其它评估重点还包括：注意看clinical data是否符合ISO14155等相关法规，以及是否适用于正在申请上市的使用人群，因为收集到的Clinical data可能来自不同的国家，因此还要考虑内在Intrinsic和外在Extrinsic因子：Intrinsic factors: human genetic characteristics or demographic factors, such as race, age, gender, etc. 内在因素:人类遗传特征或人口因素，如种族、年龄、性别等。Extrinsic factors: clinical practice, social environment, natural environment, cultural factors, life behavioral factors, rare or regional diseases, etc. 外在因素:临床实践、社会环境、自然环境、文化因素、生活行为因素、罕见或地区性疾病等。

        最后关于文档的问题还是要提一下，所有的文档必须足以让其他人完全理解和进行严格的审核。