1、医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January2023编者按：近年来，我国人工智能医疗器械进入快速发展阶段，新产品、新应用层出不穷，对相关产品及应用的监管也成为随之而来的又一大焦点。建立高水平的测试平台，并整合高质量的数据、算法资源，是人工智能医疗器械质量评价体系建设的重要内容，可为相关法规和标准的落地提供重要支撑。本期我刊特邀人工智能医疗器械行业标准制修订权威专家中国食品药品检定研究院医疗器械检定所所长李静莉担任栏目主编，组织相关研究人员分期（本期和下期）围绕医学人工智能产品检测平台的设计、医学人工
2、智能产品的对抗测试技术平台设计、面向中文医学文本的知识图谱通用评测系统设计以及基于深度学习的医学影像高效生成研究、面向不确定需求的检测数据集配置平台设计与实现、人工智能医疗器械数据集质控解决方案进行全面论述，敬请关注。本期特邀栏目主编：李静莉栏目主编简介：李静莉（1965），女，硕士，主任药师，中国食品药品检定研究院医疗器械检定所所长，国家药品监督管理局医疗器械质量研究与评价重点实验室主任，国际IEC医用机器人标准化专家，医用机器人、人工智能医疗器械标准化技术归口单位专家组副组长，国家药品监督管理局医疗器械分类技术委员会执委会委员，主要从事医疗器械检测方面的研究工作。兼任国家科技部科技项目编写
3、专家、评审专家、风险评估专家、国家技术预测评价专家，参与“数字诊疗装备”“主动健康与老龄化科技应对”“中医药关键技术装备”等人工智能医疗器械相关的国家重点研发项目实施方案与指南的编写。作为课题负责人承担国家级课题3项，发表论文100余篇，组织起草医疗器械国家标准、行业标准100余项。医学人工智能产品检测平台的设计孟祥峰，王浩，张超，李佳戈，李静莉*（中国食品药品检定研究院医疗器械检定所，北京 102629）摘要目的：设计医学人工智能产品检测平台，以实现多模态的人工智能产品的全流程质量评价。方法：该平台采用 SpringBoot、SpringCloud、Python Django 等工具进行开发
4、，由数据入库、数据标注、数据配置、产品送检、算法测试、数据集质量评价等模块组成。通过鉴权流程设计保证权限控制与访问安全，通过与云平台专线连接的方式进行本地化部署，实现多中心/医院数据的安全存储。结果：该平台支持开展算法部署、数据上传、专家标注、性能验证、算法调优、再评价等全流程服务，可为用户提供人工智能产品研发阶段、上市前、上市后的性能评价。结论：该平台能够按照用户需求提供医学人工智能产品检测评价服务，为医学人工智能产品建立了全生命周期的检测服务体系。关键词医学人工智能；人工智能产品；人工智能产品检测；检测平台中国图书资料分类号R318；TP311文献标志码A文章编号1003-8868（202
5、3）01-0001-07DOI：10.19745/j.1003-8868.2023001Design of medical artificial intelligence product testing platformMENG Xiang-feng,WANG Hao,ZHANG Chao,LI Jia-ge,LI Jing-li*(Institute for Medical Devices Control,National Institutes for Food and Drug Control,Beijing 102629,China)AbstractObjectiveTo design
6、a medical artificial intelligence(AI)product testing platform to enable whole-process qualityevaluation of multimodal AI products.MethodsThe platform was developed using SpringBoot,SpringCloud and PythonDjango,which consisted of several modules for data loading,data annotation,data configuration,pro
7、duct submission,algorithmtesting and dataset quality evaluation.Permission control and access security were ensured through authentication processdesign,and localized deployment was carried out through a dedicated line connection with the cloud platform to achievesecure storage of multi center/hospi
8、tal data.ResultsThe platform developed facilitated the whole-process service involvingin algorithm deployment,data upload,expert labeling,performance verification,algorithm tuning and re-evaluation,andcould be used for the performance evaluation of medical AI products at R&D stage and before and aft
9、er launch.ConclusionThe platform is able to provide testing and evaluation services according to user needs,establishing a full life-cycle testingservice system for medical AI products.Chinese Medical Equipment Journal，2023，44（1）：1-7Key wordsmedical artificial intelligence;artificial intelligence pr
10、oduct;testing of artificial intelligence product;testingplatform 专题研究 孟祥峰，王浩，张超，等.医学人工智能产品检测平台的设计J.医疗卫生装备，2023，44（1）：1-7.Thesis论著Thesis论著 1 医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January20230引言当前，我国医学人工智能产业得到快速发展，审评、审批制度改革持续推进，且近些年陆续出台了多个相关医学人工智能的审查指导原则1-4，国内外也有多种针对不同数据模态和疾病的
11、产品上市或进行研究5-9。在评价方面，人工智能医疗器械标准化技术归口单位起草了多个标准并公开向社会征求意见10-13，但医学人工智能产品检测手段目前还满足不了实际需求，产品上市前的算法评价主要依赖临床确认，人力、物力成本投入较大。即使临床机构已经建立了数据库和操作平台，但如果没有按照标准要求对数据标注、数据库质量和算法等开展质量评价，所开发的人工智能产品也很难满足临床使用要求。医学人工智能产品检测是统一生产与监管评价标准、显著降低企业成本、缩短产品上市周期、支撑新兴产业发展的必要举措，然而医学人工智能产品检测服务目前还普遍存在局限性，比如以单一病种为维度的标准数据集建设无法满足多目标、多用途产
12、品的检测需求；业内很多公司尝试自行开发检测平台来满足中试加速和针对性调优的需求，导致重复投入、方法不一、数据集质量和产品指标缺乏可比性，大大影响了我国新兴医学人工智能产业的创新发展。以往人工智能产品的检测模式多为局部的、分散式的模式，从数据集创建、数据标注、数据质控、测试集生成到产品性能评价14-16的各个环节相互孤立，不同机构建立的数据集兼容性、可比性难以控制。基于云端的检测平台有望优化资源利用、降低成本，但业内缺乏成熟的先例。基于此，建立网络化、标准化的检测平台，提供集约化的安全监控和检测能力，亟须做好顶层设计。本研究基于当前技术策略及系统架构方式，通过采用集中式的人工智能产品检测服务工具
13、，集成建立整体技术架构，并将新技术正确地嵌入整体的IT 系统和基础架构中，形成统一完备的人工智能运营产品形态，同时利用统一的基于评价机制的运营中心提供集约化的检测、监测、分析能力，实现影像辅助检测、辅助分类等人工智能产品在测试中的数据治理、任务调度、算法测试、安全管理及人员管理。基于上述方法建立的医学人工智能产品检测平台将为多数据模态、多病种医学人工智能模型建立动态评价机制，打造面向医学人工智能产业全生命周期的检测服务体系。1平台架构设计1.1平台整体架构医学人工智能产品检测平台整体体系架构包括基础设施层、能力层和应用层 3 个部分，如图 1 所示。本平台通过模块化设计，降低业务间的耦合。低耦
14、合、高内聚的技术架构设计支持关键技术模块的独立运行和部署，如标注模块、数据管理模块、监测模块等，可以低成本地根据需求进行灵活扩展，保证应用架构的健壮性。在基础设施层，基于虚拟化、分布式存储、并行计算、负载调度等技术，为云服务提供完善的云基础设施，为上层应用提供计算、存储、网络等虚拟资源。本平台架构中，服务器硬件处于架构底层，较基础且通用性很强，能提供底层操作系统和软件的运行环境；应用入口处于架构高层级，形式相对灵活，复用性较低。在部署形式上，平台基于混合云架构模式，采用小型化部署形态，形成共性接口的规范，如业务触发、任务调度等，同时归类、抽取不同业务场景的共性部分，支撑完成不同类产品业务流、任
15、务流、工作流。在能力层，提供平台所需的资源能力，包括检定管理能力、资源管理能力、检测服务管理能力、接入管理能力等，支撑应用层的技术体现、升级迭代、业务推广，实现全生命周期检测服务。在应用层，解决实践和创新的问题，主要面向特定医疗应用场景，提供用户管理、检测需求录入、人工智能模型管理、数据集管理、数据内容展示、测试集管理、第三方标注工具接入等功能，为送检客户提供算法评价、数据评价等服务。图1医学人工智能产品检测平台整体架构图网上送检应用层智能标注对抗调优数据质控数据评价检定报告应用集成能力组件IaaS 服务调度（API）检定管理资源管理服务管理接入管理云基础设施（GPU 资源、CPU 资源、存储
16、、网络、虚拟化、负载）基础设施层能力层基金项目：国家重点研发计划项目（2019YFB1404805）作者简介：孟祥峰（1985），男，硕士，高级工程师，主要从事医疗器械检测方面的研究工作，E-mail：。通信作者：李静莉，E-mail：孟祥峰，王浩，张超，等.医学人工智能产品检测平台的设计J.医疗卫生装备，2023，44（1）：1-7.Thesis论著 2 医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January2023图2医学人工智能产品检测平台建设方案1.2平台建设医学人工智能产品检测平台包括数据入库、数据标注、数据配置、产品送检、算法测试、数据集质量评价等模块。不同的功能模块、业务流程是并行的。其中，算法测试、数据标注、数据集质量评价等模块按照现有的人工智能医疗器械行业标准进行设计。在研发环境方面，平台根据业务能力建设的总体规划方案，构建开发环境、测试环境、生产环境，支撑SpringBoot、SpringCloud、Python Django 等研发体系搭建代码管理工具。依托分布式版本控制系统的多
