AI?机器学习？深度学习？如何申报？如何理解审评要点？

cityonsea 2019-02-16

展开全文

深度学习辅助决策医疗器械软件审评要点（征求意见稿）

——解读（一）

2019年2月1日，国家药监局技术审评中心发布了《深度学习辅助决策医疗器械软件审评要点》（征求意见稿）。

为何此次发布的不是注册技术指导原则，而是审评要点？

归其原因，是因为目前国内还未有一家AI医疗产品递交至NMPA受理并通过技术审评注册上市，但目前AI医学影像成为中国人工智能与医疗行业应用结合最成熟的领域，市场规模大、收入和融资情况表现亮眼。越来越多的非传统医疗企业涌入此领域，为保证人工智能医疗器械软件在产品实现过程中的合规性，从技术层面考虑，发布审评要点。

随着后续AI产品的受理注册，我想国家药监局技术审评中心会推出“注册技术指导原则”全面规范深度学习辅助决策软件的注册要求。

引言

我个人认为要想理解本“审评要点”，一定要从软件的设计开发过程着手，目前的深度学习辅助决策医疗器械软件以独立软件为主，在《医疗器械生产质量管理规范附录独立软件》（征求意见稿）中可以看出来，研发过程的比重要远远大于生产、质量、采购等体系的各阶段。

企业要满足“审评要点”，首先要明确产品的研发过程，确保研发过程符合质量管理体系要求。

但目前好多AI企业的研发部门、质量体系部门及产品部门都各干各的，研发不清楚体系是做什么的，体系不懂研发在干什么，产品部的需求又落实不下去。企业只是一个劲的在宣传本AI软件的准确性能达到多少多少。熟不知，在失控的研发体系出来的产品，最后的性能指标都是失效的。

因此，在这里，通过个人对“审评要点”的理解，并将审评要点的条款结合到软件研发质量管理过程之中。

首先我们要明确审评关注重点的几个方面要求如何在设计开发过程中实现并输入输出。具体见下表：

表1 软件设计开发过程

具体参考法规：

《医疗器械软件注册技术审查指导原则》
《医疗器械生产质量管理规范附录独立软件》（征求意见稿）

原文：

深度学习实为基于海量数据和高算力的黑盒算法，本审评要点重点关注软件的数据质量控制、算法泛化能力、临床使用风险。临床使用风险应当考虑数据质量控制、算法泛化能力的直接影响，以及算力所用计算资源（即运行环境）失效的间接影响。

解读： 摘自《深度学习，AI医疗器械“学然后知不足”》--彭亮，只有在数据质量控制、算法泛化能力以及临床使用风险等方面扎实做好工作，才能保证深度学习医疗器械的安全性和有效性。

原文：

软件风险管理活动应当基于软件的预期用途（目标疾病、临床用途、重要程度、紧迫程度）、使用场景（适用人群、目标用户、使用场所、临床流程）、核心功能（处理对象、功能类型）予以实施，并贯穿于软件全生命周期过程。软件临床使用风险主要包括假阴性和假阳性，其中假阴性即漏诊，可能导致后续诊疗活动延误，特别是要考虑快速进展疾病的诊疗活动延误风险；假阳性即误诊，可能导致后续不必要的诊疗活动（过度医疗风险）。进口软件除考虑假阳性和假阴性风险外，还应当考虑中外人种、流行病学特征、临床诊疗规范等方面差异的影响及其风险。应当采取充分的、适宜的、有效的风险控制措施以保证软件的安全性和有效性。

解读：

首先，软件风险管理活动应贯穿于软件全生命周期过程，因此我们先明确软件生命周期过程：

l 软件开发过程：软件开发策划、软件需求分析、软件结构设计、软件详细设计、软件单元的实施和验证、软件集成和集成测试、软件系统测试、软件发布

l 软件维护过程：软件维护计划、问题和修改分析、修改和实施

其次，应在需求分析阶段要明确软件的预期用途、使用场景、核心功能的具体需求。

最后，在软件生命周期全过程识别所有的可预见风险，并对识别的风险进行风险分析、风险评价及风险控制。包括假阴性和假阳性的风险。如是进口软件，还应该考虑中外人种、流行病学特征、临床诊疗规范等方面的差异影响。

具体执行可参考标准：

《YY/T 0664-2008 医疗器械软件生存周期过程》
《YY/T 0316-2016 医疗器械风险管理对医疗器械的应用》
《YY/T 1406.1 2016 医疗器械软件第1部份YY/T 0316应用于医疗器械软件的指南》

（一）需求分析

原文：

需求分析应当以软件的临床需求与使用风险为导向，结合软件的预期用途、使用场景和核心功能，综合考虑法规、标准、用户、产品、数据、功能、性能、接口、用户界面、网络安全、警示提示等需求，重点考虑数据收集、算法性能、临床使用限制等方面要求。

数据收集应当考虑数据来源的合规性和多样性、目标疾病流行病学特征、数据质量控制要求（详见下节）。数据来源应当在合规性基础上尽可能来自多家、不同层级的临床机构，以保证数据多样性，提高算法泛化能力。目标疾病流行病学特征包括但不限于疾病构成（如分型、分级、分期）、人群分布（如健康、患者，性别、年龄、职业、地域、生活方式）、统计指标（如发病率、患病率、治愈率、生存率）等情况，以及目标疾病并发症与类似疾病的影响情况。

算法性能应当考虑假阴性与假阳性（指标、关系）、重复性与再现性、鲁棒性/健壮性等要求。

临床使用限制应当考虑临床禁用、慎用等场景。

解读：

在研发过程的需求分析阶段，应包括以下方面：
常规需求：法规、标准、用户、产品、数据、功能、性能、接口、用户界面、网络安全、警示提示等
数据收集：目标疾病流行病学特征，如疾病构成、人群分布、统计指标等；
算法性能：假阳性与假阴性指标、重复性与再现性、鲁棒性/健壮性
临床使用限制：临床禁用、慎用等使用场景（即适用范围）

输出文件：《软件需求规格书》

数据来源要求：
合规性：来自于临床医疗机构，并通过机构的伦理审查
多样性：临床机构尽可能多家、不同层级
需求分析即是质量管理体系研发过程中的设计输入阶段，需求分析的各项输入应与设计输出内容须保持一致，设计输出如：《技术要求》、《产品说明书》。

（二）数据收集

原文：

数据收集应当考虑数据采集、数据预处理、数据标注、数据集构建等活动的质控要求，以保证数据质量和算法设计质量。

解读：

数据收集应从质量管理体系的人、机、料、法、环的要求进行质量控制，（见图1 质量管理理论用于AI数据收集的质控）。因环境对软件研发过程的影响较小，暂不过多描述。
数据收集阶段包括：
数据采集
数据预处理
数据标注
数据集构建：训练集、调优集、测试集

图1 质量管理理论用于AI数据收集的质控

2.1数据采集

原文：

数据采集主要由临床机构实施，应当考虑采集设备、采集过程以及数据脱敏的质控要求。

采集设备质控应当明确采集设备的兼容性要求和采集要求。兼容性要求应当基于数据生成方式（直接生成、间接生成）提供采集设备兼容性列表，明确采集设备的制造商、型号规格、性能指标等要求，若对采集设备无具体要求应当提供相应支持资料。采集要求应当明确采集设备的采集方式（如常规成像、增强成像）、采集协议（如MRI成像序列）、采集参数（如CT加载电压、加载电流、加载时间、层厚）、采集精度（如分辨率、采样率）等要求。

采集过程质控应当建立数据采集操作规范，明确采集人员要求和采集过程要求。采集人员要求包括人员的选拔、培训、考核。采集过程要求包括人员职责、采集流程（如采集步骤、操作要求）。

若使用现有历史数据，应当明确采集设备要求、数据采集质量评估要求（如人员、方法、指标、通过准则）。

采集的数据应当进行数据脱敏以保护患者隐私。数据脱敏应当明确脱敏的类型（静态、动态）、规则、程度、方法。

解读：

图2 数据采集过程的人机料法示意图

数据采集过程应输出《数据采集操作规范》，文件应包括以下内容

人员要求：人员的选拔、培训、考核；
采集过程要求：人员职责、采集流程（如采集步骤、操作要求）；
设备要求：

兼容性要求：采集设备的制造商、型号规格、性能指标等要求；

采集要求：采集方式、采集协议、采集参数、采集精度

数据脱敏规则：脱敏的类型（静态、动态）、规则、程度、方法。
数据采集、脱敏由临床机构实施；
临床机构应做好数据的可溯源性。

2.2 数据预处理

原文：

脱敏数据由临床机构转移至生产企业形成原始数据库，不同模态的数据在原始数据库中应当加以区分（下同）。

数据预处理应当基于原始数据库考虑数据处理、数据清洗的质控要求。数据处理应当明确处理的方法，如滤波、增强、重采样、尺寸裁剪、均一化等。数据清洗应当明确清洗的规则、方法。

数据处理和清洗应当明确选用软件工具的名称、型号规格、完整版本、供应商、运行环境、确认等要求，同时考虑数据处理选用方法对软件的影响及其风险。

数据经预处理后形成基础数据库，应当明确样本类型、样本量、样本分布等信息。样本类型以适用人群为单位可分为数据序列（由多个数据组成，如结构序列、功能序列）、数据。样本量应当明确样本规模及确定依据，需要考虑样本量不足对软件的影响及其风险。样本分布应当依据疾病构成、适用人群、数据来源机构、采集设备、样本类型等因素明确数据分布情况，需要考虑数据偏性对软件的影响及其风险。

解读：

3 数据预处理过程的人机料法示意图

数据预过程建议输出《数据预处理操作规程》，文件应包括以下内容：
数据处理：方法，如滤波、增强、重采样、尺寸裁剪、均一化
数据清洗：规则、方法
预处理的工具要求：软件工具名称、型号规格、完整版本、供应商、运行环境
基础数据库要求：样本类型、样本量、样本分布
依据《数据预处理操作规程》的要求，应输出数据预处理记录、预处理工具确认记录、基础数据库等记录文件。
风险分析
识别样本量不足对软件的影响及其风险
数据偏性对软件的影响及其风险

2.3 数据标注

原文：

数据标注应当考虑标注资源管理、标注过程质控、标注质量评估等要求。

标注资源管理包括人员管理和基础设施管理。人员管理应当明确标注人员和仲裁人员的选拔（如职称、工作年限、工作经验、所在机构，若有国外人员应当明确其资质要求）、培训、考核（如方法、频次、指标、通过准则，其中指标应当包括重复性、再现性）等要求。

基础设施管理应当明确标注场所（真实或模拟，环境、照明条件）、标注软件（名称、型号规格、完整版本、供应商、运行环境、确认）等要求。

标注过程质控应当建立数据标注操作规范，明确标注人员（如资质、数量、职责）、标注流程（如标注对象、标注形式、标注轮次、标注步骤、操作要求）、临床诊疗规范（如临床指南、专家共识）、分歧处理（如仲裁人员、仲裁方式）、可追溯性（如数据、操作）等要求。

数据经标注后形成标注数据库，其样本类型可分为数据序列、数据（由多个数据块组成）、数据块（如图像区域、数据片段）。样本量、样本分布等要求及风险考量与基础数据库相同。

解读：

4 数据标注过程的人机料法示意图

数据标注应输出《数据标注操作规范》，文件应包括以下内容：
人员要求：标注人员和仲裁人员资质要求（如职称、工作年限、工作经验、所在机构，若有国外人员应当明确其资质要求）
培训考核要求：如方法、频次、指标、通过准则，其中指标应当包括重复性、再现性等要求
标注过程要求：标注对象、标注形式、标注轮次、标注步骤、操作要求
分歧处理：仲裁人员、仲裁方式
临床诊疗规范：临床指南、专家共识
可追溯性要求：数据的可追溯性、操作流程的可追溯性
环境要求：标注场所（真实或模拟，环境、照明条件）
标注工具要求：名称、型号规格、完整版本、供应商、运行环境、确认
标注数据库：样本类型、样本量、样本分布
依据《数据标注操作规范》的要求，应输出：
人员档案：标注和仲裁人员资质资料
培训记录：培训教材、培训记录、考核记录、标注准则
标注记录：具体到每位标注人员每张图片的标注记录、仲裁记录
标注工具确认记录
做好标注过程的追溯性工作，确定追溯范围、追溯标识、追溯程度。

2.4 数据集构建

原文：

基于标注数据库构建训练集（用于算法训练）、调优集（若有，用于算法超参数调优）、测试集（用于算法性能评估），明确训练集、调优集、测试集的划分方法、划分依据、数据分配比例。训练集应当保证样本分布具有均衡性，测试集、调优集应当保证样本分布符合临床实际情况，训练集、调优集、测试集的样本应当两两无交集。

为解决数据样本分布不均衡问题，可对训练集、调优集小样本量数据进行扩增；测试集不宜进行数据扩增，若扩增应当分析对软件的影响及其风险。数据扩增应当明确扩增的方式（离线、在线）、方法（如翻转、旋转、镜像、平移、滤波等）、倍数，并考虑扩增方法选用以及扩增倍数过大对软件的影响及其风险。

数据经扩增后形成扩增数据库，应当列表对比扩增数据库与标注数据库在样本量、样本分布（注明扩增倍数）等方面的差异，以证实扩增数据库样本量的充分性以及样本分布的合理性。

解读：

5 数据集构建过程的人机料法示意图

数据集构建建议输出《数据集构建规范》，文件应包括以下内容：
训练集、调优集、测试集的划分方法、划分依据、数据分配比例
数据扩增方式和方法：离线、在线、翻转、旋转、镜像、平移、滤波、倍数
依据《数据预处理操作规程》的要求，应输出训练集、调优集、测试集清单等记录文件。
各数据集样本不能混用
训练集：用于算法训练，保证样本分布均衡
调优集（若有）：用于算法超参数调优，符合临床实际情况
测试集：用于算法性能评估，符合临床实际情况
训练集、调优集可扩增，并输出扩增集，测试集不可扩增。依据扩增集，输出《扩增集样本差异表》
风险分析：识别扩增方法选用以及扩增倍数过大对软件的影响及其风险

基于以上几点解读，企业应建立一套完善的软件设计开发质量管理体系，才能将数据来源、数据收集过程、各过程人员的资质及培训要求、软件工具确认要求、以及过程中相应的风险识别评估等方面进行全过程的质量控制，确保AI医疗器械软件产品的安全性和有效性，每个研发过程相辅相成，缺一不可。

《未完待续》

用2018年的美酒斟满你的壶觞

干了这杯时光，让你忘了所有忧伤

用2019年的佳酿注满你的杯盏

饮了这杯醉酣

祝你未来宏图大展

德大先给您拜年了

送上新年贺礼一份

医疗器械临床试验在国家的推动下大力发展，医械人对临床实验相关知识的需求逐渐增加，为了让大家能有更多的学习机会，常州医疗器械产业研究院、常州创客咖啡科技服务有限公司、广州九泰药械技术有限公司、苏州德大企业管理咨询有限公司联合举办医械临床试验免费课程。

讲师介绍

广州九泰药械技术有限公司总经理，原奥咨达首席科学家，现任博济医药首席科学家（医疗器械方向），曾任广东省医学会循证医学分会第一届第二届副主委、《循证医学》杂志副主编、《中国新药与临床》编委、《中华医学写作》编委、《2016年中国医疗器械蓝皮书》主要发起人、《2016奥咨达医疗器械行业蓝皮书》主编、《中国血液净化行业发展蓝皮书》执行主编、《2017年中国医疗器械蓝皮书》副主编。参与三类医疗器械、三类高风险医疗器械、创新医疗器械临床试验百余项，发表学术论文40余篇。