1、第26卷第9期2023年9月软件工程 S O F T W A R E E N G I N E E R I N GVol.26 No.9Sep.2023文章编号:2096-1472(2023)09-0052-07DOI:10.19644/ki.issn2096-1472.2023.009.010收稿日期:2 0 2 3-0 2-0 6基于S A-C y c l e G A N的3 T磁共振图像生成方法李 琳1,浦贵阳2,李 杨3,王树超4,蒋明峰3 1.浙江理工大学信息科学与工程学院,浙江 杭州 310018;2.中移(杭州)信息技术有限公司,浙江 杭州 310000;3.浙江理工大学计算机科学
2、与技术学院,浙江 杭州 310018;4.中国人民解放军联勤保障部队第九三医院神经外科,浙江 杭州 ;摘 要:磁共振成像(M a g n e t i c R e s o n a n c e I m a g i n g,MR I)广泛应用于临床诊断,相较于1.5 T MR I,3 T MR I具有高对比度和高信噪比等优势。文章提出了一种基于生成对抗网络融合自注意力机制(S A-C y c l e G A N)的超场强磁共振图像生成方法,利用生成对抗网络从1.5 T MR I生成3 T MR I,并将自注意力机制嵌入生成对抗网络框架,引入谱归一化处理,在减少函数振荡的同时加速模型收敛;为提高生成图
3、像的真实性,将先验信息引入网络,提出组合损失函数。使用5 0对3 D磁共振图像训练网络,并用1 0对图像进行测试。实验结果表明:所提S A-C y c l e G A N方法生成的磁共振图像的峰值信噪比(P S N R)和结构相似性(S S I M)高于S R G A N、C y c l e G A N等对比方法。关键词:磁共振成像;生成对抗网络;自注意力机制;谱归一化;组合损失函数中图分类号:T P 3 9 1 文献标志码:AA M e t h o d f o r G e n e r a t i n g 3 T MR I B a s e d o n S A-C y c l e G A NLI
4、 Lin1,PU Guiyang2,LI Yang3,WANG Shuchao4,JIANG Mingfeng3 1.School of Information Science and Engineering,Zhejiang Sci-Tech University,Hangzhou 310018,China;2.China Mobile(Hangzhou)Information Technology Co.,Ltd.,Hangzhou 310000,China;3.School of Computer Science and Technology,Zhejiang Sci-Tech Univ
5、ersity,Hangzhou 310018,China;4.Neurosurgery of the 903th Hospital of PLA,Hangzhou 310004,C;A b s t r a c t:Magnetic Resonance Imaging(MRI)is widely used in clinical diagnosis,and compared to 1.5T MRI,3T MRI has advantages such as high contrast and high signal-to-noise ratio.This paper proposes a sup
6、er-field magnetic resonance image generation method based on the integration of Generative Adversarial Network and Self-attention mechanism(SA-CycleGAN).GAN is used to generate 3T MRI from 1.5T MRI,and the SA mechanism is embedded in the GAN framework.At the same time,spectral normalization processi
7、ng is introduced,which reduces the function oscillation and accelerates the model convergence.In order to improve the authenticity of the generated image,prior information is introduced into the network and a combined loss function is proposed.The network is trained with 50 pairs of 3D MRI images an
8、d tested with 10 pairs of images.The experimental results show that the proposed SA-CycleGAN can generate higher Peak Signal-to-noise Ratio(PSNR)and Structural Similarity(SSIM)values of magnetic resonance images than contrast methods such as SRGAN(Super Resolution GAN)and CycleGAN.K e y w o r d s:ma
9、gnetic resonance imaging;generative adversarial network;self-attention mechanism;spectral normalization;combined loss function0引言(I n t r o d u c t i o n)磁共振成像(MR I)是临床医学常见的影像检查手段,其具有无电离辐射和非侵入性无创伤等特点,因此在临床医学的病理检查和诊断中得到广泛应用1。对于磁共振成像设备来说,高场强能带来更好的成像质量,磁共振成像的信噪比与主磁场强度通常成正比,3 T的图像质量和信噪比均比1.5 T的高,并第 26卷第
10、 9期李 琳等:基于 SA-CycleGAN 的 3T 磁共振图像生成方法且能显示更好的解剖细节和组织对比。在神经放射学中使用3 T磁体的优势远远大于其劣势,更高强度的磁体在结构和血管扫描、弥散和灌注成像等方面的诊断潜力正在提高,但是使用3 T磁体就意味着高场强的成本会大幅增加。超场强磁共振图像生成可以在不升级硬件的情况下,通过算法实现由1.5 T MR I生成近似3 T MR I,较大幅度地提高了MR I的图像质量。1相关工作(R e l a t e d w o r k)生成对抗网络2(G e n e r a t i v e A d v e r s a r i a l N e t w o r
11、 k s,G A N)常用来实现超场强图像生成,它结合了生成器和判别器两个神经网络的系统,上述神经网络通过在零和博弈框架中相互竞争得以实现。自推出以来,人们对与大脑相关的G A N框架的应用产生了浓厚的兴趣,S R G A N3首次将G A N应用于单图像的超分辨率重建,J I A N G等4也将G A N应用到MR I领域。此外G A N已经成功运用到数据增强、图像翻译及图像分割等领域,这些研究证实了G A N网络具有广泛的应用前景5-1 2。本文将C y c l e G A N作为研究的基本网络,并且专注于研究提高生成医学图像的准确性和真实性1 3。近年来,图像合成在医学成像界获得了很大的
12、关注,由低场强MR I向高场强MR I的生成、合成技术日益完善。R O Y等1 4使用基于字典的稀疏重建处理图像合成,并且使用基于示例的方法进行稀疏表示,该方法已经成功运用到3 T MR I合成7 T MR I1 5。D A R等1 6提出了基于条件生成对抗网络的多对比MR I合成新方法,保留了生成图像的中高频细节。目前,研究人员可以使用基于学习的方法合成高场强图片,例如线性回归、稀疏学习和随机森林等1 7-1 9。随着深度学习的发展,高场强MR I的合成也有了新的方法,不仅减轻了对手工制作特征的需求,而且已成功应用于各种图像合成问题。X I A N G等2 0提出了一种深度嵌入C N N,即
13、基于3 T磁共振图像合成计算机断层扫描(C T)图像的方法。Q U等2 1利用空间域和小波域的互补信息完成了低场强到高场强MR I的合成,目前基于C N N的方法通常直接确定复杂的3 T到7 T映射,而不需要显式利用多尺度信息。有研究表明,通过整合有价值的先验信息可以改善网络学习2 2。综上研究表明,目前基于深度学习的MR I超场强重建方面的研究不足,针对现有理论,本文提出了一种基于生成对抗网络融合自注意力机制的生成方法S A-C y c l e G A N,用于从1.5 T MR I生成3 T MR I。首先以C y c l e G A N的损失函数为基础,在生成器中加入先验信息对网络进行约
14、束,提出了新的组合损失函数;其次将自注意力引入生成对抗网络作为卷积的补充,有助于生成器生成图像的细节表达,判别器可以更准确地对全局图像结构执行复杂的几何约束;最后使用非局部模型将自注意力模块引入生成对抗网络框架,以便生成器和判别器都可以有效地在空间区域之间建立关系依赖。2 MR I样本数据库(MR I s a m p l e d a t a b a s e)每一张3 D磁共振图像的大小是2 5 62 5 61 7 6像素值,其中(a)横断面的尺寸为1 7 6 2 5 6,(b)冠状面的尺寸为1 7 6 2 5 6,(c)矢状面的尺寸为2 5 62 5 6。本文使用3 D S l i c e r
15、中的S l i c e r E l a s t i x模块,以3 T MR I作为模板,将1.5 T MR I配准到3 T图像模板上,实现空间域图像配准,经过配准后,使用MR I c r o将每一张3 D图像切割成3种不同截面的2 D图片,建立样本数据库。现有6 0对3 D磁共振图像,经切片后共有4 1 3 0 0对2 D样本图片,其中横断面和冠状面分别有1 5 3 6 0对图片,矢状面有1 0 5 8 0对图片。在深度学习中,用于训练和测试的数据可能会不足且不平衡,深度网络模型容易过度拟合且泛化能力很差,由于医院和患者的状况并不总是适合于收集数据,并且具有相同疾病的患者数据也并非总是可用。此
16、外,神经网络需要在大量准确而可靠的数据上进行训练,数据不正确或表示不正确可能会导致系统的性能变差。所以,本文使用数据扩增方法生成足够多且平衡的图像。图1 无损变换F i g.1 L o s s l e s s t r a n s f o r m a t i o n对于具有很多重要信息的图片,例如医学图像,最好执行不会增加或丢失图片信息的图像增强变换。因此,本文选择使用无损变换、非刚性变换和先进扩增技术完成医学图像扩增。如图1所示,无损变换是借助P y t h o n实现,具体方法主要包括水平翻转、垂直翻转和随机旋转。经过数据扩增,建立了一个标准数据库。该数据库共有1 0万组2 D样本数据对,其
17、中横断面和冠状面切片有4 0 0 0 0对图片,矢状面切片有2 0 0 0 0对图片。3基于S A-C y c l e G A N的3 T磁共振图像生成算法(3 T MR I g e n e r a t i o n a l g o r i t h m b a s e d o n S A-C y c l e G A N)S A-C y c l e G A N网络主要包含四个模块,分别为两个生成器结构模块、两个判别器结构模块,如图2所示。S A-C y c l e G A N网络对输入数据要求较低,适用性强。图2 C y c l e G A N网络模型F i g.2 T h e n e t w o
18、 r k m o d e l o f C y c l e G A N3.1S A-C y c l e G A N网络结构C y c l e G A N本质上是两个镜像对称的生成对抗网络,两者35软件工程2023年9月构成一个环形网络。如图2所示,两个生成对抗网络共享两个生成器,并且各自带一个判别器。该网络可以在不使用任何配对的图像集合下,捕捉一个图像集合的特殊性,并找出这些特征如何转化为其他图像集合。这个网络已经成功运用于风格迁移、对象转换、季节转移及图像增强等领域。在源域X和目标域Y之间存在某种潜在关系的假设下,C y c l e G A N的目标是学习映射G:XY和F:YX,使G(X)的图
19、像分布与Y域的图像分布无法区别。因此,可以通过循环一致性损失约束上述过程:LC y c l e G A N(G,F)=EXPd a t a(X)F(G(X)-X1 +EYPd a t a(Y)G(F(Y)-Y1 (1)公式(1)中,Pd a t a(X)是X的分布,Pd a t a(Y)是Y的分布。该网络除了两个生成器模型G和F,还引入了两个判别器DX和DY,判别器DX旨在区别真实样本X和生成样本F(Y),判别器DY旨在区别真实样本Y和生成样本G(X)。在1.5 T MR I生成3 T MR I过程中,输出的3 T图像结果不仅要与1.5 T图像整体相似,还要尽可能地保留细节,更重要的是不能包含
20、虚假信息,不然可能会导致误诊。可以在训练过程中加入额外的损失函数进行约束,将3 T图像作为先验信息加入C y c l e G A N,保证图像内容的一致性,防止在生成过程中产生虚假的信息。使用激活函数L e a k y R e L U,解决了R e L U函数在输入小于零的部分梯度为0的问题。输入小于0的部分存在微小梯度,从而避免输入为负时停止反向传播,其表示如下:f(x)=x,x 0a x,x 0(2)L e a k y R e L U函数的输出为负无穷到正无穷,即扩大了R e L U函数的范围,公式(2)中,a的值一般设置为一个较小值,如0.0 1。3.1.1生成器网络结构模型生成器结构如
21、图3所示,主要由编码器、转换器、解码器组成。首先,编码部分是利用不同大小的卷积层(C o n v)和图像增强层(R e f l e c t i o n P a d 2 d)进行特征提取;其次,数据进入转换器,使用9次残差模块将图像数据恢复增强,通过在神经网络传递的同时,添加一条直连路径的方式,就可以确保梯度有效传递和改善网络的性能,残差模块可以保留原始图片特征以便用于解码器的输入;最后,解码器通过反卷积层(C o n v T r a n s p o s e)重新构建低级特征,输出目标图像。图3 生成器模型F i g.3 G e n e r a t o r m o d u l e3.1.2判别器
22、网络结构模型相比生成器,C y c l e G A N的判别器结构功能简单,它仅用于判断输入图像是否是某一特定域的图像。如图4所示,判别器首先使用多层卷积与激活函数对图像进行特征提取和处理,其次输出一个3 0 3 0 1的张量实现判别生成图像真假的目的。此外,生成对抗网络中判别器训练程度与生成器梯度消失成反比,并且模型的稳定性与判别器D的连续性相关。为了令判别器D满足利普希茨连续性,对函数变化的剧烈程度有所限制,因此在判别器参数矩阵上运用了谱归一化。图4 判别器模型F i g.4 D i s c r i m i n a t o r m o d u l e3.2组合损失函数C y c l e G
23、 A N的损失函数主要是对抗损失和循环一致性损失,在此基础上对其进行了改进,形成新的组合损失函数。将先验信息加入网络作为损失函数的一部分,该网络包含前向循环和反向循环,并且共享生成器和判别器。从数据集中随机选择1.5 T和3 T图像作为输入图像对,并将1.5 T对应的3 T图像作为先验信息Ip r i o r输入网络,输入图像对中的1.5 T和3 T图像不要求对应。在正向循环中,生成器GH将1.5 T图像生成3 T图像,生成器FL将生成的3 T图像转换回对应的1.5 T图像。反向循环则是生成器FL将3 T图像生成为1.5 T图像,生成器GH将生成后的1.5 T图像转换为3 T图像。判别器D用来
24、评估样本是来自真实图像而不是生成图像的概率,而生成器GH和FL试图生成不易被判别器区分的图像。该过程使用对抗损失进行约束:LG A N(GH,DH,X,Y)=EYPd a t a(Y)l gDH(Y)+EXPd a t a(X)l g(1-DH(GH(X)(3)LG A N(FL,DL,X,Y)=EXPd a t a(X)l gDL(X)+EYPd a t a(Y)l g(1-DL(GL(Y)(4)尽管上述的对抗性损失能够让生成器G和生成器F学习到Y和X的分布,但没有保证从X得到G(X)时图像的内容不变,因为G(X)只需要符合域Y分布即可,并没有对其施加约束,所以X到G(X)包含很多种可能的映
25、射。为此,研究人员还需要使用循环一致性损失作为约束,使得G生成的G(X)在内容上仍然能和X中的图片信息保持一致。循环一致性的表述为从X得到G(X)以后,再次将G(X)送入生成器F获得生成F(G(X),同时约束F(G(X)=X,这就是循环一致性 同理,约束G(F(Y)=Y,公式如下:LC y c l e G A N(GH,FL)=EXPd a t a(X)FL(GH(X)-X1 +EYPd a t a(Y)GH(FL(Y)-Y1 (5)对于3 T MR I生成来说,结果的准确性至关重要,如果产生虚假信息,会导致误诊,所以要对生成器进行直接约束,尤其45第 26卷第 9期李 琳等:基于 SA-Cy
26、cleGAN 的 3T 磁共振图像生成方法是生成器GH,让其生成准确性更高的3 T MR I。因此,将先验信息加入网络,直接约束生成器GH,如图5所示,将1.5 T图像对应的3 T图像视为先验信息,先验图像Ip r i o r与生成图像GH(I1.5 T)之间的平均绝对误差(MA E)被引入损失函数以约束网络进行训练,此时前向循环的对抗损失如下:LPG A N(GH,DH,X,Y)=EYPd a t a(Y)l gDH(Y)+EXPd a t a(X)l g(1-DH(X)+GH(X)-Ip r i o r1(6)(a)前向循环 1.5 T图像生成 3 T图像(b)反向循环 3 T图像生成 1
27、.5 T图像图5 加入先验信息后的 C y c l e G A N网络F i g.5 C y c l e G A N w i t h p r i o r i n f o r m a t i o n公式(6)中,是MA E的权重系数。本文网络的组合损失函数为对抗损失和循环一致性损失的总和:L(GH,FL,DH,DL)=LPG A N(GH,DH,X,Y)+LG A N(FL,DL,X,Y)+LC y c l e G A N(GH,FL)(7)公式(7)中,是循环一致性损失和对抗损失的权重比。3.3自注意力机制模块自注意力机制模块分别应用在生成器和判别器后。应用在生成器后,为生成图像建立远距离像素
28、点之间的依存关系,利用所有特征生成分辨率高、细节明显的图像;应用在判别器后,检查图片中像素点分离较远的特征,即更充分调节生成器。其公式如下:A t t e n t i o n V a l u e=S o f t m a x(Q KT)dkV(8)公式(8)中,Q=XQ,K=XK,V=XV,X表示输入矩阵,d表示为输入维度,Q表示查询向量,K表示键向量,V表示值向量。三个向量本质上都是为了提升模型拟合能力对X进行线性变化得到,其中为可训练的。S o f t m a x分布与d相关,则dk保持训练过程中梯度稳定。由于S o f t m a x和 dk为归一化和降维操作,因此可简化如下:A t t
29、e n t i o n(Q,K,V)=Q KTV(9)3.4实验数据与评价标准M R I数据的采集方式为磁化制备快速梯度回波(M P R A G E),扫描矩阵大小为2 5 62 5 61 7 6,分辨率为1 m m1 mm1 mm。从中随机选取6 0对3 D大脑MR I图像验证所提出方法的有效性。大脑MR I图像随机选取1 0个样本(共计1 0万对图片,每个样本为1 0 0 0 0对图片)做训练,其中7个样本作为训练集,3个样本作为验证集。使用P y t h o n语言在P y t o r c h 1.7.0框架下编程,在G e F o r c e R T X 3 0 9 0 G P U硬件
30、环境和U b u n t u软件环境下训练所提出的模型。输入图像和生成器生成图像的尺寸为2 5 6 2 5 6、1 7 6 2 5 6。生成器和判别器的学习率分别设置为0.0 0 0 2和0.0 0 0 4。通过参数扫描选优,组合损失函数中的超参数和分别设置为1 5和1 0。为了防止过拟合,对网络进行2 0 0轮迭代的训练后终止训练,并保存组合损失函数最小的模型作为最优模型。实验采用峰值信噪比(P e a k S i g n a l-t o-N o i s e R a t i o,P S N R)和结构相似性(S t r u c t u r a l S i m i l a r i t y,S
31、S I M)两种评价标准评价生成图像。P S N R是传统图像评价的一种方法,数值越大越好,其数学公式如下:P S N R=1 0l gMNM a x V a l u e2Mi=1Nj=1(y(i,j)-x(i,j)2 (1 0)公式(1 0)中,x代表真实的3 T图像,y代表网络生成的3 T MR I,i和j分别代表像素点的坐标位置,MN代表图像的大小,M a x V a l u e为图像像素可取到的最大值。结构相似性指标是一种用于衡量两张图片相似程度的指标,相较于峰值信噪比,结构相似性在衡量图像品质方面更符合人眼对品质的判断。S S I M(x,y)=(2xy+c1)(x y+c2)(2x
32、+2y+c1)(2x+2y+c2)(1 1)公式(1 1)中,x、y、x、y和x y分别表示图像x和y的均值、方差和协方差,c1、c2是常数值。4实验结果与讨论(E x p e r i m e n t a l r e s u l t s a n d d i s c u s s i o n)4.1实验结果及分析本文使 用S A-C y c l e G A N(S N)进 行 实 验,与S R G A N、P i x 2 p i x和C y c l e G A N三种基于深度学习的图像生成方法做对比。本文先参考原始C y c l e G A N的参数设置,然后加入自注意力机制后对学习率、批大小等超
33、参数进行调整,进行多次实验,把组合损失函数最小值的实验参数作为最佳参数。本文选择对二维MR I图像的三个不同剖面进行观察,通过比较图6至图8中的实验结果可以发现,基于S A-C y c l e G A N(S N)的生成算法在成像质量上优于其他算法,并且在细节上也具有更清晰的纹理结构。此外,本文进行了消融实验评估本文方法的不同组成部分对训练过程和图像生成质量的影响。55软件工程2023年9月(a)1.5 T MR I (b)3 T MR I(c)S R G A N(d)P i x 2 p i x(e)C y c l e G A N(f)S A-C y c l e G A N(S N)图6 不同
34、方法生成的3 T脑部MR I横断面F i g.6 C r o s s s e c t i o n o f 3 T B r a i n M R I g e n e r a t e d b y d i f f e r e n t m e t h o d s(a)1.5 T MR I (b)3 T MR I(c)S R G A N(d)P i x 2 p i x(e)C y c l e G A N(f)S A-C y c l e G A N(S N)图7 不同方法生成的3 T脑部MR I冠状面F i g.7 C o r o n a l p l a n e o f 3 T B r a i n M R
35、I g e n e r a t e d b y d i f f e r e n t m e t h o d s(a)1.5 T MR I (b)3 T MR I(c)S R G A N(d)P i x 2 p i x(e)C y c l e G A N(f)S A-C y c l e G A N(S N)图8 不同方法生成的3 T脑部MR I矢状面F i g.8 S a g i t t a l p l a n e o f 3 T B r a i n MR I g e n e r a t e d b y d i f f e r e n t m e t h o d s为了直观地对比不同方法的生成性
36、能,选取一张典型的MR I图像。在图6至图8中可以看出,S R G A N生成的MR I丢失了较多细节,P i x 2 p i x和C y c l e G A N生成的MR I虽然保留了一些细节,但是与全采样MR I相比,仍有较大的差异。本文所提方法生成的结果则恢复了大部分图像细节,也有较为清晰的纹理,更加接近于全采样MR I。为了定量比较不同方法的生成效果,研究人员在测试集上计算了不同方法生成MR I的平均P S N R和S S I M,结果如表1所示,P S N R和S S I M的值是均值标准差的形式,加粗项为每行最优值。从表1中可以看出,本文所提方法生成的MR I的P S N R和S
37、S I M均值均高于其他三种方法,P S N R的标准差与其他方法相差不大,而S S I M的标准差则略优于其他方法,这表明本文所提方法在保持生成效果相对稳定的情况下,能明显提高生成图像的质量。表 1 不同方法生成的3 T脑部M R I图像质量Tab.1 Quality of 3T brain MRI generated by different methods截面指标S R G A NP i x 2 p i xC y c l e G A N S A-C y c l e G A N(S N)横断面P S N R/d B3 1.6 3 3 2 4.2 73 4.1 0 2 5 3.8 93 5.
38、1 9 9 8 3.2 43 6.7 9 7 3 3.3 4S S I M0.9 0 3 3 0.0 2 0 90.9 5 3 2 0.0 1 0 40.9 5 7 5 0.0 0 7 70.9 7 3 4 0.0 0 7 1冠状面P S N R/d B3 0.4 7 6 4 5.1 53 2.9 4 0 8 4.4 93 3.6 0 7 5 4.6 03 5.9 7 5 5 4.2 3S S I M0.8 9 8 3 0.0 0 3 60.9 0 8 0 0.0 0 3 00.9 4 0 3 0.0 0 3 70.9 8 5 3 0.0 0 2 6矢状面P S N R/d B2 9.6 2
39、6 7 5.4 63 1.8 9 2 3 5.1 53 6.9 5 1 1 4.3 13 7.7 5 8 8 4.3 8S S I M0.7 8 2 1 0.1 0 0 30.8 7 6 9 0.0 5 2 10.9 7 9 1 0.0 2 1 00.9 8 9 4 0.0 0 3 74.2消融实验结果讨论为了评估本文所提方法中不同组成部分对训练过程和生成质量的影响,研究人员进行了如下消融实验:(1)不将自注意力机制嵌入G A N框架中(N o S A);(2)在判别器网络层中取消谱归一化处理(N o S N);(3)组合损失函数中不加入先验信息(N o P r i o r)。消融实验结果对比
40、如表2所示,本文所提方法的实验结果大部分优于消融实验的其他结果。这表明本文所提方法的各个组成部分均能有效改善网络的生成性能,提高生成MR I的质量。表 2 消融实验结果对比 Tab.2 Ablation experiments截面S A-C y c l e G A N(S N)P S N R/d BS S I MN o S AP S N R/d BS S I MN o S NP S N R/d BS S I MN o P r i o rP S N R/d BS S I M横断面3 6.7 9 7 3 0.9 7 3 43 5.3 7 9 0 0.9 6 7 53 6.5 5 9 2 0.9 7
41、 0 43 5.2 0 4 1 0.9 6 3 3冠状面3 5.9 7 5 5 0.9 8 5 33 4.7 5 9 8 0.9 5 6 63 5.4 7 6 9 0.9 8 2 23 3.8 0 8 4 0.9 4 8 8矢状面3 7.7 5 8 8 0.9 8 9 43 6.9 7 9 4 0.9 7 9 73 7.7 5 3 6 0.9 8 9 53 6.9 5 2 2 0.9 7 4 4 大部分图像生成的G A N网络都是使用卷积结构,传统卷积层擅长分析空间的局部性信息,但无法获知图像上较远距离的依赖关系。为解决上述问题,本文在网络中加入了自注意力模块,使模型能够自适应地感知到对生成图
42、像起到作用的区域,增强生成MR I的细节,提高成像质量。如图9所示,对比矢状面切片在无自注意机制嵌入情况下生成的MR I,整体上看,两者的生成效果差不多,但从局部放大图中可以看出,本文所提方法的生成细节更加丰富,纹理还原也更加准确。(a)加入注意力机制(b)未加入注意力机制(c)原始图像 图9 自注意力机制模块对生成效果的影响F i g.9 T h e i n f l u e n c e o f S A m o d u l e o n g e n e r a t i o n p e r f o r m a n c e训练不稳定问题仍是生成对抗网络方法存在的主要问题,如图1 0所示,S A-C
43、y c l e G A N方法损失函数的收敛速度过慢且具有不稳定的性质,加入谱归一化之后,S A-C y c l e G A N(S N)方法的损失值呈单调下降,而且损失函数收敛速度加快,表明结65第 26卷第 9期李 琳等:基于 SA-CycleGAN 的 3T 磁共振图像生成方法合谱归一化的S A-C y c l e G A N(S N)方法使训练变得更加稳定。与之前没有加入先验损失的结果相比,纳入先验损失信息后,P S N R提升了1 2 d B,S S I M也提高了1%3.8%。图1 0 损失函数随迭代次数的变化F i g.1 0 C h a n g e o f L o s s f
44、u n c t i o n w i t h t h e n u m b e r o f i t e r a t i o n s5结论(C o n c l u s i o n)本文提出了一种基于生成对抗网络融合自注意力机制的磁共振图像超场强生成的新方法,本文所提方法的核心之处在于将自注意力机制和谱归一化整合到C y c l e G A N框架中,并且重新构造了组合损失函数。自注意力机制可确保高场强图像的成像质量和细节,与其他方法相比,本文所提方法获得的超场强图像具有更高的P S N R和S S I M,图像细节更接近原始高场强图像,而谱归一化则限制了函数变化的剧烈程度,使模型更稳定;在网络中引入
45、先验信息,使得生成图像的真实性和准确性有所提升。此外,消融实验验证了组合损失函数、自注意力机制和谱归一化的有效性,通过这些模块可以有效地提高图像生成质量。未来,研究人员会将本文所提出的S A-C y c l e G A N(S N)应用于从3 T图像生成7 T场强甚至更高场强的磁共振图像,实现可用于临床的超场强图像生成,这是未来需要进一步研究与解决的问题。参考文献(R e f e r e n c e s)1 R E D A R,Z A N Z A A,MA Z Z O N I A,e t a l.A n u p d a t e o f t h e p o s s i b l e a p p l
46、 i c a t i o n s o f m a g n e t i c r e s o n a n c e i m a g i n g(MR I)i n d e n t i s t r y:a l i t e r a t u r e r e v i e wJ.J o u r n a l o f I m a g i n g,2 0 2 1,7(5):7 5.2 G O O D F E L L OW I,P O U G E T-A B A D I E J,M I R Z A M,e t a l.G e n e r a t i v e a d v e r s a r i a l n e t w o
47、 r k sJ.C o mm u n i c a t i o n s o f t h e A C M,2 0 2 0,6 3(1 1):1 3 9-1 4 4.3 L E D I G C,T H E I S L,HU S Z R F,e t a l.P h o t o-r e a l i s t i c s i n g l e i m a g e s u p e r-r e s o l u t i o n u s i n g a g e n e r a t i v e a d v e r s a r i a l n e t w o r kC I E E E.P r o c e e d i n
48、g s o f t h e I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n(C V P R).P i s-c a t a w a y:I E E E,2 0 1 7:4 6 8 1-4 6 9 0.4 J I A N G M F,Z H I M H,WE I L Y,e t a l.F A-G A N:F u s e d a t t e n t i v e g e n e r a t i v e a d v e r s a r i a l
49、n e t w o r k s f o r MR I i m a g e s u p e r-r e s o l u t i o nJ.C o m p u t e r i z e d M e d i c a l I m a g i n g a n d G r a p h i c s,2 0 2 1,9 2:1 0 1 9 6 9.5 B I R D J J,B A R N E S C M,MA N S O L J,e t a l.F r u i t q u a l i t y a n d d e f e c t i m a g e c l a s s i f i c a t i o n w i t h c o n d i t i o n a l G A N d a t a a u g m e n t a t i o nJ.S c i e n t i a H o r t i c u l t u r a e,2 0 2 2,2 9 3:1 1 0 6 8 4.6 MA F,L I Y,N I S G,e t a l.D a t a a u g m e n t a t i o n f o r a u d i o-v i s u a l e m o t i o n r e c o g n i t i o n w i t h a n e f f i c i e n t m u l
