1、第 卷 第 期 年 月北京生物医学工程 .作者单位：上海理工大学健康科学与工程学院（上海）上海微创医疗器械（集团）有限公司（上海）通信作者：常兆华，教授。：.超声图像融合专家知识的 卵巢包块良恶性诊断方法赵君逸 叶萍 石思远 杨洋 徐明杰 常兆华，摘 要 目的 提出一种基于深度网络特征融合的分类方法，以提高良恶性分类的准确率，辅助医生提高术前诊断卵巢包块良恶性的准确率。方法 纳入深圳市人民医院 幅经活检、手术病理等证实的患者术前卵巢超声图像，按照 的比例随机设置训练集、验证集和测试集。首先，提取医生勾画的感兴趣区域（，）即包块图，用微调后的 网络提取其深度特征；然后用基于 模型的水平集方法得到
2、包块边缘轮廓图，再用微调后的 网络提取其深度特征；接下来将包块图的深度特征和边缘轮廓图的深度特征分别归一化后并拼接为融合特征；最后，将融合特征输入到全连接层分类器中，将超声图像分为良恶性。结果 本文提出的超声图融合专家知识的 卵巢包块良恶性诊断方法在测试集上的准确度、特异度、敏感度和曲线下面积分别为.、.、.、.，全部优于当前主流的深度学习方法。结论 该特征融合网络能够取得较好的分类效果，一定程度上能够为临床诊断卵巢包块的良恶性提供参考。关键词；卵巢包块；特征融合；计算机辅助诊断；良恶性分类：.中图分类号.文献标志码 文章编号（）本文著录格式 赵君逸，叶萍，石思远，等 超声图像融合专家知识的
3、卵巢包块良恶性诊断方法北京生物医学工程，（）：，（）：，；，：（：.）【】，（），；，；，；，.，.，.，.，【】；引言全球妇科肿瘤的发病率逐年上升，严重危害女性的健康，卵巢癌的发病率在妇科恶性肿瘤中位列第三，其死亡率更是居于首位，超过 的卵巢肿瘤发生在育龄妇女中，不必要或过度的手术可能导致生育力下降。因此，对卵巢包块良恶性质的判断尤为重要，可以避免对良性病变或交界性肿瘤患者进行不必要或过度广泛的手术，同时可以迅速将可能患有恶性肿瘤的女性转诊至肿瘤外科评估。为了提高早期卵巢包块良恶性诊断准确率，人们提出了一系列的基于图像分割识别的早期诊断算法。现有的关于早期诊断算法的研究主要集中在从卵巢超声图
4、像中提取特征，然后通过机器学习分类器对提取的特征进行监督分类。等从图像中提取了基于纹理和高阶光谱的特征用于训练和测试决策树分类器。等基于一阶统计、灰度共现矩阵和游程矩阵提取了几个纹理特征对卵巢超声图像进行分类以检测肿瘤类型。等从图像中提取局部二进制模式直方图用于卵巢肿瘤分类。等使用灰度共生矩阵获得的自相关、总和平均和总方差作为多层前馈反向传播网络的输入，用于卵巢检测。上述大多数现有的卵巢包块早期诊断算法都是直接从超声图像中提取纹理特征，并与支持向量机分类器结合以完成对包块类型的检测。然而，传统的纹理特征提取需要手工设计复杂的特征提取方法。提取的特征维度高，工作量大，效率低。要提取最相关的特征，
5、就需要充分了解数据收集中的基本特征。利用深度卷积神经网络（，）提取的图像特征在图像分类、分割或检索方面都是有效的。作为一种多层神经网络学习算法，深度学习技术可以通过非线性网络结构学习特征，结合低级特征形成更抽象的深度特征，从而有效地学习数据集的基本特征。基于 在非医学图像中的优势，已逐渐应用于医学图像的分类。等建议使用 对口腔癌病理图像进行分类；等提出了一种基于 的肺癌分类系统；邹奕轩等提出了一种利用 开发甲状腺结节良恶性分类系统的算法。当前，在卵巢图像方面的应用也受到研究学者的广泛关注。等构建了一种 智能算法模型，并将其应用于卵巢肿瘤超声图像进行图像分类。等将 提取的深度特征与局部二制模式浅
6、层特征融合在一起，完成了对卵巢肿瘤的良恶性诊断。虽然现有的深度学习方法通常比传统方法更强大，但其诊断性能仍然有限。与大多数使用手工制作特征的传统方法相似，现有的深度学习方法通常平等地对待自然图像和医学图像，并直接将一般的 模型应用于卵巢包块分类。这种操作不恰当地忽略了与医疗诊断的具体任务相关的重要领域和专家知识。为了使计算机学习过程更符合超声科医生的诊断考虑，本文提出了一个新的基于特定领域知识和超声科医生经验的深度学习算法，用于超声图像中卵巢包块的良恶性分类。除了从包块图像中提取语义特征的基本分支外，二分支网络还集成了一个边缘轮廓分支来提取与包块良恶性肿瘤密切相关的增强边缘特征。北京生物医学工
7、程 第 卷 研究方法.数据集本文用的数据集为 年 月至 年 月在深圳市人民医院以卵巢包块为主要就诊原因并经活检、手术病理等证实的患者卵巢超声图像。使用 （）和（飞利浦医疗保健）超声机进行术前经阴道或经直肠超声检查，所用的经阴道超声探头频率为.，经腹超声探头频率为.。经超声科医生对采集到的图像进行筛选与分类，本实验采用卵巢超声图像 幅，其中恶性有 幅，良性有 幅。原始超声图像采集完成后由 名医师共同在超声图像上描绘卵巢包块边缘外接矩阵，以去除多余的非病变区域并保留感兴趣区域（，），从而防止不相关的特征干扰深度学习模型的性能。勾画示例如图 所示，若过程中产生异议则由另一高年资医生仲裁。标注完成后，
8、利用随机函数对数据集进行随机抽取，按 的比例划分，以便进行训练、验证和测试（表）。以病理结果为金标准。表 训练集及测试集数量分布 图像类型及标签训练集验证集测试集合计良性 恶性 合计卷积神经网络的参数训练需要大量的数据，而本文数据集仅有图像 例，数据过少深度学习模型容易过拟合。为了提高深度学习模型的通用性和鲁棒性，在训练集上进行数据增强。训练过程中对数据集进行仿射变换、旋转和水平翻转图像等随机数据增强操作，得到扩展后的训练集。.基于 模型的水平集分割方法超声科医生用于分析卵巢包块良恶性的重要超声特征包括背景纹理、边缘光滑度、边缘形状等。良性包块形态规则，一般呈现近圆形或椭圆形。而恶性包块形态不
9、规则，由于其快速浸润生长，往往具有模糊和不规则的边缘。因此，本研究用基于 模型的水平集方法分割出卵巢包块边缘，以学习分类任务中更显著的特征，过程如下。首先提取网络最后一个卷积层的输出特征图，尺寸为 ，对该向量在通道轴方向上求和，得到一个 的热力图，对该热力图进行归一化后改为和原图一样的尺寸；将热力图转换为 格式后再用全局阈值二值化的方法得到其二值图，设置的阈值为，低于该阈值的像素置为（黑色），高于该阈值的像素置为（白色）；接下来取二值图中的最大外接矩形来初始化水平集起始轮廓；然后迭代多次，收敛到边界，分割出包块边缘轮廓；最后，使用 颜色空间将红色区域（阈值为，）二值化后得到包块边缘轮廓图。分割
10、过程如图 所示。.改进的多特征融合的 网络 于 年在 和 的文章中首次引入，是最有效的模型之一。在 和常见图像分类迁移学习任务上均达到了最先进的精度。通过引入启发式方法来扩展模型，图 卵巢超声图像 提取示例 第 期 赵君逸，等：超声图像融合专家知识的 卵巢包块良恶性诊断方法图 用 分割卵巢包块边缘过程 提供 一系列模型（是在 网络的基础上修改输入图像分辨率、网络通道数量以及网络深度），代表了各种规模上的效率和准确性的良好组合。这种缩放启发式允许面向效率的基础模型（）在每个尺度上超越模型，同时避免对超参数进行广泛的网格搜索。的网络共有 层。第 层是一个卷积核大小为、步长为 的普通卷积层，第 层都
11、是在重复堆叠 结构，结构主要由一个 的普通卷积、一个 的 卷积（和 两种）、一个 模块（由一个全局平均池化，两个全连接层组成）、一个 层构成。第 层由一个普通的 的卷积层、一个平均池化层和一个全连接层构成。实验 使 用 了 在 上 经 过 预 训 练 的 并将其 类输出层调整为两类。重要的训练参数设置如下：输入形状为；批次大小为；训练时期为 个；使用 优化器更新神经网络的权重，学习率为.，动量为.。将包块图像输入 网络，经对比后，发现 在各项评价指标中均排第一，因此选用其作为基础网络进行下一步的工作。首先用微调后的 网络提取包块图的深度特征，尺寸为 ；然后用基于 模型的水平集方法分割得到包块边
12、缘轮廓图，再用微调后的 网络提取其深度特征，尺寸为 ；接下来对这两个特征进行归一化处理得到、，归一化过程如式（）、式（）所示，然后按式（）方法拼接在一起得到融合特征，尺寸为。后接有一个包含 个单元和两个输出的全连接层。改进后二分支特征融合 如图 所示。图 改进后的二分支特征融合网络 （）（）（）式中：为网络提取的包块图深度特征向量；为包块图深度特征最小值；为包块图深度特征最大值；为 归一化后的深度特征；为网络提取的边缘图深度特征；为边缘图深度特征最小值；边缘图深度特征最大值；为 归一化后的深度特征；为包块图深度特征和边缘图深度特征融合后用于图像分类的联合特征。北京生物医学工程 第 卷.评价方法
13、和损失函数本实验以病理结果为金标准。在卵巢包块良恶性的诊断中，恶性区域被正确诊断为恶性，称为真阳性，数量记为；良性区域被错误诊断为恶性，称为假阳性，数量记为；恶性区域被错误诊断为良性，称为假阴性，数量记为；良性区域被正确诊断为良性，称为真阴性，数量记为。本实验评测指标包括准确度（，）、敏感度（，）、特异度（，）、受试者工作特征曲线（，）和曲线下面积（，），计算公式如下：（）（）（）本实验选用二元交叉熵（，）作为 损失函数，它是二分类问题中常用的一个损失函数：（）（）（）（）（）式中：为输入特征；是输出属于 的概率；表示样本数量；是二元标签 或者。结果及分析为了验证本文方法的对卵巢包块分类的有效
14、性，在同一数据集中与其他主流分类算法进行比较。实验采用 倍交叉验证，并计算相关评价指标。在这组实验中，本文将多分支分类网络与、和 进行比较。表 为本文算法和其他算法的分类准确度、敏感度、特异度和，图 为相应的 曲线。本文方法的分类准确度、敏感度、特异度和 分别为.、.、.和.。相较于改进之前的 基础网络准确率提升了.。结果表明，本文方法在所有指标方面都是最好的，这意味着将专家知识集成到深度神经网络中可以有效提高自动学习特征对包块分类的鉴别能力，具有较高的灵敏度和特异性，并能够准确区分卵巢包块良恶性。表 不同卷积神经网络的对比实验结果 方法准确度敏感度特异度.本文方法.图 不同方法对测试集中图像
15、分类时的 曲线 在这组实验中，本文将多分支分类网络与单支网络进行比较，包括包块图和轮廓图，通过不同方法得到的分类结果见表 和图。由此可见，多分支网络在所有网络指标方面始终优于单分支网络。例如，与原图和边缘轮廓图相比，它在识别恶性包块方面分别提高了.和，验证了整合包块边缘轮廓信息的优点（即超声科医生关注的典型特征）。结论本文提出的基于 的二分支特征融合分类方法在准确度、敏感度、特异度等方面表现出了比主流的深度学习方法更优越的性能，因此可以作为超声科医师可靠的第二意见，以帮助他们避第 期 赵君逸，等：超声图像融合专家知识的 卵巢包块良恶性诊断方法表 不同分支网络的对比实验结果 方法准确度敏感度特异
16、度轮廓图.包块图.本文方法.图 不同分支网络对测试集中图像分类时的 曲线 免因工作超负荷而造成的误诊。它还可以为没有足够临床经验的初级超声科医师提供有益的建议。同时本文具有局限性：卵巢良恶性包块的超声、血清学肿瘤标志物 和 均具有显著差异，超声联合肿瘤标志物、对卵巢良、恶性包块的检出率明显高于单独检查，其对卵巢包块质的判断准确性更高，而本文仅将与超声图像相关的专家知识融合到网络里。因此，如何采集相关临床数据并将与诊断卵巢包块良恶性息息相关的其他专家知识引入 中，是下一步研究的重点。参考文献 ，：，（）：，：，：（）：，：，：，：，（）：，：，（）：，（）：，（）：，：，（）：，：，（）：，（）：邹奕轩，周蕾蕾，赵紫婷，等 基于卷积神经网络的甲状腺结节超声图像良恶性分类研究 中国医学装备，（）：，（）：，（）：，（）：（下转第 页）北京生物医学工程 第 卷 ，：伊洋，贺仁忠 吸入一氧化氮治疗呼吸衰竭的进展 医学综述，（）：，（）：王晓蕾，孙海滨，郁敏 新生儿持续肺动脉高压治疗进展 医学综述，（）：，（）：孙珵琭，胡兆燕，陈正龙 一氧化氮治疗仪及其应用进展 北京生物医学工程，（）：，（）：