1、2023 年 无线电工程 第 53 卷 第 1 期161doi:103969/jissn10033106202301021引用格式:张秀峰，李永鑫，王苇，等生成对抗网络磨玻璃样肺结节分割方法 J 无线电工程，2023，53(1):161167 ZHANGXiufeng，LI Yongxin，WANG Wei，et alA Generative Adversarial Network for Ground Glass Pulmonary Nodule Segmentation J adioEngineering，2023，53(1):161167生成对抗网络磨玻璃样肺结节分割方法张秀峰1，李永鑫
2、1，王苇2，瞿航2*(1 大连民族大学 机电工程学院，辽宁 大连 116600;2 扬州大学附属医院 影像科，江苏 扬州 225009)摘要:早期肺癌在影像学的表现形式之一是肺结节，其中磨玻璃样肺结节(Ground-Glass Nodules，GGNs)被认为是恶变可能性最大的肺结节之一。在诊断性 CT 图像上 GGNs 存在边缘模糊、大小形状各异、不规则等影响分割精度的问题。针对 GGNs 形态复杂、分割精确度欠佳的问题，提出了一种生成对抗式网络(Generative Adversarial Network，GAN)GAN-DeepLabv3+，将 DeepLabv3+作为图像分割生成器网络
3、，通过引入编解码器结构，将深度可分离卷积应用到空洞空间卷积池化金字塔和解码器模块上，通过对抗式训练，最终获得 GGNs 病灶分割模型。实验结果证明，在对 GGNs 患者的 CT 医学图像的分割中，所提方法 Dice 系数为 0.952，交并比(Intersection over Union，IoU)为 0.876，像素精确度(Pixel Accuracy，PA)为0.991，相较于原始 DeepLabv3+和 ACU-Net 等现有方法，对 GGNs 均有一定的提升。关键词:磨玻璃样肺结节;生成对抗网络;图像分割;医学图像中图分类号:TP391文献标志码:A开放科学(资源服务)标识码(OSID
4、):文 章 编 号:10033106(2023)01016107A Generative Adversarial Network for Ground GlassPulmonary Nodule SegmentationZHANG Xiufeng1，LI Yongxin1，WANG Wei2，QU Hang2*(1 College of Mechanical and Electronic Engineering，Dalian Minzu University，Dalian 116600，China;2 Department of Imaging，Affiliated Hospital of Y
5、angzhou University，Yangzhou 225009，China)Abstract:One of the imaging manifestations of early lung cancer is pulmonary nodule，and Ground-Glass Nodules(GGNs)areconsidered to be a kind of pulmonary nodule with the greatest possibility of malignant transformation In diagnostic CT images，GGNs havesome pr
6、oblems that affect the segmentation accuracy，such as blurred edges，different sizes and shapes，and irregular shapes Aiming at theproblems of complex shape and poor segmentation accuracy of GGNs，a generative adversarial network GAN-DeepLabv3+is proposedDeepLabv3+is used as the image segmentation gener
7、ator network By introducing the codec structure，the deep separable convolution isapplied to the convolution pool pyramid and decoder module in the void space Through adversarial training，the GGNs lesion segmentationmodel is finally obtained The experimental results show that in the segmentation of C
8、T medical images of patients with GGNs，the Dicecoefficient of this method is 0952，the Intersection over Union(IoU)is 0876，and the Pixel Accuracy(PA)is 0991 Compared with theexisting methods such as original DeepLabv3+，ACU net，etc，this method has a certain improvement on segmentation of GGNsKeywords:
9、ground glass pulmonary nodules;generative adversarial network;image segmentation;medical image收稿日期:20220930基金项目:扬州市重点研发计划社会发展项目(YZ2020101);扬州市“十三五”科教强卫重点人才项目(ZDXK201806)Foundation Item:Social Development Project of Yangzhou Key D Plan(YZ2020101);Key Talent Project of Health Strengthening Program byS
10、cience Technology and Education during“the Thirteenth Five-Year Plan”of Yangzhou City(ZDXK201806)0引言医疗影像分割是计算机视觉在医疗影像算法研究领域的一个重要研究分支，以从医疗影像中获取目标区域的准确分割作为研究目标，为临床疾病诊疗和科学研究提供重要的依据 1。目前已有的研究方法对实性肺结节能实现很好的分割结果。而对于磨玻璃样肺结节(Ground-Glass Nodules，GGNs)，由于存在边缘模糊、大小形状各异、不规则等影响分割精度的问题 2，一直是一个极具挑战性的图像分割任务。而 GGNs
11、 与早期肺腺癌密切相关，被认为是恶变可能性最大的肺结节之一 2，对 GGNs 的精准分割具有极大的临床价值。工程与应用1622023 adio Engineering Vol.53 No.1传统的 GGNs 医学影像分割方法主要是根据肺结节的 CT 值分布和形状特征发展起来的3。对具有同质灰度值和周围组织高对比度的孤立实性结节表现良好，但随着周围组织和结节粘连区域(即GGNs 和近血管结节)边界的模糊程度增加，性能下降明显4。随着深度学习相关研究在计算机视觉领域获得广泛场景的应用并取得较好的成绩，基于深度学习的 GGNs 医学影像分割算法逐渐成为该领域研究的重点和热点。相关研究通常开发深度卷积
12、神经网络(Convdutional Neural Network，CNN)来提取结核的深度图像特征，并构建编码器解码器架构来分割结核5。例如，Wu 等6 提出了一种基于三维 U-Net 的分割模型，并利用条件随机场优化深度学习模型的输出，但现有部分语义分割模型对像素点的预测是独立的，没有考虑相互之间的相关性。在之前的模型中考虑到像素相关性的多是使用 CFs，然而，高阶势也被观察到是有效的，例如基于超像素7 之间的标签一致性的鲁棒高阶项。文献 8 展示了如何在基于 CNN 的分割模型中集成特定的高阶势类。虽然这些高阶势的参数可以学习，但它们的数量是有限的。本文感兴趣的是加强高阶一致性，而不是局限
13、于非常特定的高阶潜能。在 Goodfellow 等9 提出的生成式对抗网络(Generative Adversarial Network，GAN)方法的启发下，探索了一种基于对抗训练的方法，用于加强高阶一致性，提出一种基于 GAN 的医学图像分割方法 GAN-DeepLabv3+，通过引入对抗训练的方法加强了远程空间标签的连续性。1GAN-DeepLabv3+图像分割方法GGNs 定义为在肺部影像中有形状不定的密度增高影，边界可能模糊但内部血管纹理和支气管壁清晰可见10。当患者肺部影像中磨玻璃影所占比例超过 50%时，临床上可以定义为原位癌。因此，患者的存活率完全取决于病变发现和诊疗的时间早晚
14、1112。在早期诊断中，对 GGNs 的准确识别和精细分割尤为关键。提出一种 GAN，引入经典的博弈思想，并将 DeepLabv3+作为图像分割生成器网络，提高分割效率和精确度。11DeepLabv3+网络生成器DeepLabv3+网络是一种用于图像语义分割的CNN，引入语义分割常用的编码器解码器。采用空间金字塔池化(Atrous Spacial Pyramid Pooling，ASPP)，使用不同采样率和多种视野的卷积核，能够以多尺度捕捉对象。GAN-DeepLabv3+使用 DeepLabv3+结构作为网络生成器，DeepLabv3+算法在编码模块中，使用Xception13 网络作为特征
15、提取的骨干网络，将空洞卷积和深度分离卷积结合在输出的特征图上使用不同 atrous rate 并行 ASPP 去提取特征，用 concat 融合之后，再使用卷积减少通道数。最终 ASPP 能够完成不同尺度目标特征信息的提取和区分14-15。解码部分结合了高层和低层的信息。对低层特征通道进行压缩，从而更多地保留源图像的高层特征信息以应对在下采样过程中对目标边界信息的丢失。模型在特征图上采样过程中与低层特征相融合以获取更高的分辨率和更丰富的空间细节，再通过双线性差值采用高层特征图，最终解码出预测图的算法结构如图 1 所示。图 1DeepLabv3+算法模型网络结构Fig1Network struc
16、ture of DeepLabv3+algorithm model工程与应用2023 年 无线电工程 第 53 卷 第 1 期16312GAN2014 年，Goodfellow9 首次提出 GAN。GAN 采用无监督的学习方式，灵感来自于博弈论中的纳什均衡，由一个生成网络 G(z)和一个判别网络 D(x)组成16。深度学习过程可以看作是 G(z)和 D(x)之间的动态博弈。两方的博弈围绕图片生成和鉴别展开。G(z)在不断迭代中逐渐提升生成图像与真实目标之间的一致性，而 D(x)则在不断迭代中提升区真实图像与 G(z)生成的图像16。网络博弈原理如图 2 所示。图 2GAN 博弈原理Fig2Game principle of GAN本文利用 DeepLabv3+结构作为网络生成器模型，通过 DeepLabv3+网络分割得到分割标签图像数据。使用 CNN 作为网络判别器模型，经过实验最终选择用 5 层卷积组成的神经网络作为判别器网络，本文在 5 层 CNN 中选择使用步长(stride)为 2，输入尺寸(input)为 44 的卷积核，最后使用 Sigmoid 函数，得到尺寸为 1616