1、西北大学学报（自然科学版）年 月，第 卷第 期，（）收稿日期：基金项目：国家自然科学基金（，）；陕西省重点研发计划项目（）；西安市卫生健康委员会面上培育项目（）；西安邮电大学创新基金项目（）第一作者：王红玉，女，河北沧州人，副教授，从事机器学习、医学图像处理等研究，。医疗与人工智能基于生成对抗网络的乳腺 图像生成王红玉，朱天薏，冯 筠，丁松涛，王苹苹，陈宝莹（西安邮电大学 计算机学院，陕西 西安；西安邮电大学 陕西省网络数据分析与智能处理重点实验室，陕西 西安；西安市大数据与智能计算重点实验室，陕西 西安；西北大学 信息科学与技术学院，陕西 西安；西安国际医学中心 医院影像诊疗中心，陕西 西安
2、）摘要 乳腺癌磁共振成像（，）数据由于不同医院采集方式不同、设备不同或病人等自身原因，会存在同一病人不同序列缺失的问题。目前主流的图像生成对抗网络 和 是医学图像生成的两种主要模式，这类方法要求不同 序列数据配对出现，难以处理存在缺失的数据，此外，该类方法往往关注整幅图像的生成质量，缺少对疾病诊断更有价值的病灶区域的生成质量的监控。针对以上问题，该文受配准网络（）自适应对准图像空间分布的启发，设计了一种新的基于特征增强的双注意力配准生成对抗网络。该网络在生成器中引入卷积注意力模块，使网络更注重病灶的学习；在判别器中添加梯度正则化约束，主要解决网络训练不稳定容易出现模式崩溃的现象，使网络生成包含
3、更清晰的病灶细节全局图。该文在 幅乳腺数据上开展消融实验、不同图像生成算法间的对比实验、肿瘤分类实验，进一步验证了方法的有效性。与原始 比，全局图像生成质量和局部病灶图像生成质量均得到提升，局部图像质量较原始 提升了.，提升了；全局图像质量较原始 提升了.，提升了 。关键词 生成对抗网络；乳腺 图像生成；注意力机制；梯度正则化中图分类号：.：，（，；，；，；，；，），.；.；医学影像在各种疾病的诊断和治疗中起着至关重要的作用。通常不止一种成像模式涉及临床决策，因为不同的模式会提供互补的见解。例如计算机 线摄影（，）、计算机断层扫描（，）、磁共振 成 像（，）等多种成像方式。其中，对软组织有很好
4、的对比，按扫描方式可以分为常规扫描和功能扫描，常规扫描包括 加权、加权成像等；功能成像包括弥散加权成像（，）、灌 注 加 权 成 像（，）等，这些成像序列可以从不同方面反映人体组织的不同信息，构成多序列。与 相比，也更安全，不涉及任何辐射，但它最大的缺点是原始数据是在包含空间频率信息的 空间中连续采集的，采集时间长。这种缓慢的成像速度会引起患者的不适，容易造成多序列 数据缺失的情况，使得严格依赖多序列 输入的诊断无法进行。研究表明，融合多序列特征对于乳腺癌诊断至关重要，但由于设备、医院、病人自身等原因，采集到的乳腺 数据有时会存在序列数据缺失的情况。随着人工智能的发展，传统机器学习方法已无法满
5、足日益复杂的医学应用场景，因此，深度学习技术逐渐被引入。利用深度学习进行缺失数据生成，可以缓解由数据缺失所引起的联合诊断精度不高的问题，准确的生成结果可以为医生对病情的定量分析提供精确测量数据，进一步提高医生的工作效率。在医学图像处理方面，由于设备损坏、不正确使用、病人对造影剂过敏等情况，导致部分采集的多序列图像存在缺失、伪影等问题，使得严格依赖于多序列的诊断工作无法顺利进行，因此，需要引入生成模型进行医学数据扩充或增强等数据预处理操作，进而开展下一步工作。目前，医学图像常用的深度学习生成模型主要是以生成对抗网络（，）为基础的变体，主要分为两个模块：生成器和判别器，两个模块通过互相博弈学习产生
6、结果。生成器输入一般为随机噪声，噪声进入生成器得到一个输出，判别器输入为原始数据和生成数据，用来判断输入的样本是原始数据还是生成数据，通过损失来不断调节整个网络训练，直到判别器无法判断，即无论对于生成数据还是真实数据，判别器输出结果概率都是.。其中，和 是医学图像相互转换生成的两种主要模式。然而这两种模式在处理多序列 的生成中都不是理想的。虽然具有优异的性能，但对训练数据要求较严，需要成对的和像素对齐的图像，这不一定总能实现。而 虽然对训练数据要求不像 那么严格，它可以接受源域和目标域有未配准的误差，但没有对这种误差进行处理，导致生第 期 王红玉，等：基于生成对抗网络的乳腺 图像生成成效果也没
7、有达到最优，并且训练也非常不稳定。针对以上问题，本研究以 作为基础网络，根据医学图像具有目标区域局部化这一特性，在生成器部分引入通道注意力和空间注意力机制，利用全局最大池化和平均池化使网络更加关注图像中感兴趣区域（，），以获得较大的感受野和空间信息，使生成图片包含尽量完备且丰富的信息，进而改善生成性能。针对生成对抗网络训练不稳定出现模式崩溃的情况，从而影响肿瘤生成效果的问题，本文在判别器中加入梯度正则化模块，提高网络训练的稳定性，进一步提高生成性能。通过实验验证本文方法与目前主流的医学图像生成方法相比性能有效提升。相关工作医学图像生成从最初基于传统学习的方法到近年来基于深度学习的方法，都进行了
8、许多实验并取得了相应进展。传统算法的关键是提取有效的特征构建映射关系，但与自然图像相比，不同模态的医学图像信息特征要复杂得多。近年来，机器学习在计算机视觉领域取得了重大进展，并逐渐成为医学影像的一个重要研究领域。机器学习极大拓展了医学影像领域的研究方向和各种临床应用，促进了放疗和放射医学影像学的发展。在医学影像生成领域，基于机器学习的模型也提高了不同医学模态图像之间的相互转换生成能力。这里所指的医学模态转换生成既包括不同医学成像技术的图像转换生成，如、图像转换生成，也包括相同成像技术但不同扫描参数的医学图像的相互转换，如 的 加权图像和 的 加权图像之间的相互转换生成等。由此可预见，医学模式转
9、换生成技术的进步可能会日益扩大临床应用。基于深度学习的方法比传统的医学图像生成方法更灵活。通用的网络结构可以以最小的成本迅速适应其他任务，例如，通过调整参数，从而增加了在临床所需的不同成像模式之间生成快速扩展的可能性。另一方面，基于深度学习的方法性能主要取决于训练数据集的质量和数量。虽然事先需要花费很多精力来收集和处理训练数据，但一旦模型训练完成，图像预测在较短的时间即可完成。在临床环境中可以获得大量回溯性的各种模态的图像数据，这一点很适合数据驱动型的深度学习方法。深度学习在逆问题上的巨大成功促使其在医学成像领域迅速得到应用。该领域的早期研究提出了基于斑块级处理的局部网络，虽然局部网络比传统方
10、法更有优势，但它们对整个图像中更广泛的背景表现出有限的敏感性。后来的研究采用了深度 进行图像级的处理，随着大型成像数据库的可用性不断增加，基于 的生成已经在各种应用中得到成功证明，包括跨 扫描仪的生成、多对比度 生成和 生成，。尽管它们能带来重大的改进，但用像素级损失训练的 往往会遭受不理想的细节结构的损失。为了改善对结构细节的捕捉，研究人员提出 来学习以源模态为条件的目标模态分布。对抗性损失使 能够为恢复高空间分辨率的信息捕获更好的先验。近年来，基于 的方法被证明在许多生成任务中具有最先进的性能，包括数据增强以及多模态生成。模型的重要应用包括 转、转、无配对的跨模式、转 和多对比度 生成，等
11、。等人提出将密集块整合到周期生成对抗网络中，有效捕获 和 之间的关系以进行 生成。等人在训练过程中引入相互信息损失，并提出了一种改进的判别器架构，利用更小的视野来确保乳房组织中更精细的细节的保存。等人提出了 模型，该模型结合了基于生成扩散的标签生成器和语义图像生成器，将生成数据用来训练分割模型，并通过实验证明其性能与用真实数据训练的模型相当。总体来说，使用深度学习的方法在一定程度上可以实现不同模态医学影像转换生成，目前 已经应用于大量图像到图像的转换生成任务中。成功的关键是对抗损失的思想，它使生成的图像在原则上与真实图像难以区分。虽然 模型已经成为医学影像生成一种主流方法，但上述研究并非没有局
12、限性，比如，目前大量的研究都是将对齐数据进行转换生成，或是忽略医生更关注局部信息这一特性，直接对全局进行生成。除此之外，许多研究人员在利用 模型对医学影像进行生成时，忽略了 本身训练不稳定这一情况。因此，针对这些问题，西北大学学报（自然科学版）第 卷本文提出一种基于特征增强的双注意力配准生成对抗网络（，），分别对生成器和判别器部分进行改进，以此来提高网络的生成质量。乳腺 图像生成网络.算法整体框架本文提出的基于特征增强的双注意力配准生成对抗网络 结构如图 所示。网络输入原始的乳腺 图像，进入生成器得到生成的 图像，生成器引入卷积注意力机制（，），用于获得更大的感受野，以获得更全面的病灶信息。对
13、于配准网络，假设输入 是 病人的 图像，经过生成器 得到 病人的 图像（）。是 病人真实的，（）和 进入到配准网络 中进行配准，得到配准图像（），），即让网络认为 病人生成的 图像（）是 病人得到的，属于同一病人的数据。判别器 用于判断生成图像真假，为了网络获得更稳定的一个训练，在判别器之后结合梯度正则化进一步提高网络的生成质量，通过校正损失和对抗损失不断调节网络训练。引入的卷积注意力和梯度正则化这两个模块既改善了医学图像生成过程中由于存在病灶过小而生成效果不够精确的问题，又改善了由于 网络本身训练不稳定而引起的结果不准确的问题，使得生成数据和真实数据相比具有更高的相似性。图 结构 .基于卷积
14、注意力的生成配准模块由于乳腺肿瘤图像数据量少且肿瘤病变形态、大小差异大，以致对乳腺肿瘤良恶性进行诊断具有一定的难度，而生成更清晰的病灶并对缺失数据进行补充生成有助于提高乳腺肿瘤良恶性诊断的准确性。因此，设计一个既能关注病灶区域的生成，又能使生成结果更接近原始图像的生成网络至关重要。针对上述问题，本文首先对生成器进行设计，引入 模块。生成器结构如图 所示。将原始 图像输入生成器中，生成器先对图片边界进行填充，经过 个特征提取层，每个特征提取层包含 个卷积层以及对应的归一化层、层。然后，经过以残差结构为基础的下采样，提取深层特征。在残差的基础上引入 模块，最后，对提取到的特征进行上采样，输出层使用
15、 激活函数，得到最终的 生成结果。结合通道注意力和空间注意力的生成器结构用于获得更大的感受野，输入的特征图分别通过全局最大池化和全局平均池化使网络更关注感兴趣区域，通过这两个模块分别对输入特征图在通道和空间进行自适应特征选择和增强，突出主要特征，抑制无关特征，使网络更加关注需要生成目标的内容信息和位置信息，以提高网络的生成精度。生成器生成的 输入如图所示的配准网络，以此减少未严格对齐的数据引起的生成误差。第 期 王红玉，等：基于生成对抗网络的乳腺 图像生成图 生成器结构 .基于梯度正则化的判别器模块判别器通过判断生成的 是否为真实数据来促进生成器的训练，本文判别器包含 个步长为 的卷积层、个
16、层以及 个归一化层，通过池化和展平操作得到输出真实数据的概率。利用生成对抗网络对乳腺肿瘤图像进行生成任务时，网络的稳定性对于图像生成质量有一定的影响。虽然生成对抗网络现在为医学图像生成的主流方法，但由于乳腺 图像数据集较小，使用层数过深的网络会使参数过多，容易导致梯度消失或过拟合问题，且生成对抗网络本身就存在模式容易崩溃不够稳定的情况。因此，在判别器之后添加梯度正则化，即 限制，以获得更稳定的训练，生成更接近真实的乳腺 图像。本文采用的梯度正则化主要是选择 约束的一个充分条件（通常是网络对输入的梯度），并在目标函数中添加相关的惩罚项，对参数进行裁剪和频谱归一化约束，以确保网络每层的 常数受到约束，从而使整体的 常数也受到约束。而梯度惩罚则是留意到 的一个充分条件是（），所以就通过惩罚项（）来施加“软约束”。虽严格限制梯度范数，但却可以保持较高的鉴别能力。利用梯度将（）变换为（），使其自动满足（）。具体来说，网络通常使用 或 作为激活函数，在这些激活函数之下，（）实际上是一个“分段线性函数”，这就意味着，除了边界之外，（）在局部的连续区域内都是一个线性函数，相应地，（）就是一个常向量。于
