1、第 49卷 第 2期2023年 2月Computer Engineering 计算机工程结合感知损失与双重对抗网络的低剂量 CT图像去噪熊景琦，桑庆兵，胡聪（江南大学 人工智能与计算机学院，江苏 无锡 214122）摘要：低剂量计算机断层扫描（LDCT）成像技术在医学诊断中得到广泛应用，但其斑纹噪声和非平稳条纹伪影复杂，目前多数算法仅依靠推断条件后验概率来实现图像去噪，无法应对 LDCT图像噪声复杂、数据量少、先验知识缺乏的问题。提出一种结合感知损失的双重对抗网络去噪算法，以实现 LDCT图像复原。该算法包含一个去噪器和一个生成器，分别从图像去噪和噪声生成 2个角度来建模干净-噪声图像对的联合
2、分布，通过联合学习使得去噪器和生成器相互指导，从而充分学习数据中的噪声信息和清晰图像信息，且学习到的去噪器可以直接用于LDCT图像修复。考虑到通过感知损失学习语义特征差异可以使去噪结果保留更多的细节和边缘信息，提出一种掩膜自监督方法，针对 CT图像域训练一个语义特征提取网络用于计算感知损失。实验结果表明，与 BM3D、RED-CNN、WGAN-VGG等主流去噪算法相比，该算法可以有效抑制噪声并去除伪影，最大程度地保留边缘轮廓和纹理细节，产生更符合人眼视觉特性的去噪效果，与当下 LDCT图像去噪性能较好的 SACNN算法相比，所提算法的 PSNR和 SSIM 指标分别提升1.26 dB和 1.8
3、%。关键词：双重对抗网络；低剂量 CT图像；噪声生成；自监督；感知损失开放科学（资源服务）标志码（OSID）：中文引用格式：熊景琦，桑庆兵，胡聪.结合感知损失与双重对抗网络的低剂量CT图像去噪 J.计算机工程，2023，49（2）：213-221，230.英文引用格式：XIONG J Q，SANG Q B，HU C.Low-dose CT image denoising combining perceptual loss and dual adversarial network J.Computer Engineering，2023，49（2）：213-221，230.Low-Dose CT
4、Image Denoising Combining Perceptual Loss and Dual Adversarial NetworkXIONG Jingqi，SANG Qingbing，HU Cong（School of Artificial Intelligence and Computer Science，Jiangnan University，Wuxi 214122，Jiangsu，China）【Abstract】Low-Dose Computer Tomography（LDCT）imaging technology has been widely used for medica
5、l diagnosis，but its speckle noise and nonstationary fringe artifacts are complex.Currently，most algorithms only rely on inferential conditional posterior probability to achieve image denoising，which does not deal with the complex noise，small amount of data，and lack of prior knowledge of LDCT images.
6、A dual adversarial network denoising algorithm combined with perceptual loss is proposed to achieve LDCT image restoration.The algorithm includes a denoiser and a generator，which jointly models the joint distribution of clean-noise image pairs from the perspectives of image denoising and noise gener
7、ation，respectively.By joint learning，the denoiser and generator can guide each other to fully learn the noise information and clear image information in the data，and the learned denoiser can be directly used for LDCT image repairs.Considering that more details and edge information can be retained in
8、 denoising results by learning semantic feature differences through perceptual loss，a mask self-supervised method is proposed to train a semantic feature extraction network for the CT image domain to calculate the perceptual loss.The experimental results show that compared with mainstream denoising
9、algorithms such as BM3D，RED-CNN，WGAN-VGG，this algorithm can effectively suppress noise and remove artifacts，maximally retain edge contour and texture details，and induce a denoising effect more consistent with human visual characteristics.Compared with the current SACNN algorithm with improved denois
10、ing performance for LDCT images，the Peak Signal-to-Noise Ratio（PSNR）and Structural Similarity（SSIM）indicators of the proposed algorithm are improved by 1.26 dB and 1.8%，respectively.【Key words】dual adversarial network；Low-Dose CT（LDCT）image；noise generation；self supervision；perceptual lossDOI：10.196
11、78/j.issn.1000-3428.0063806基金项目：国家自然科学基金（62006097）；江苏省自然科学基金（BK20200593）。作者简介：熊景琦（1997），男，硕士研究生，主研方向为图像去噪；桑庆兵（通信作者）、胡 聪，副教授、博士。收稿日期：2022-01-21 修回日期：2022-03-08 Email：图形图像处理文章编号：1000-3428（2023）02-0213-09 文献标志码：A 中图分类号：TP3912023年 2月 15日Computer Engineering 计算机工程0概述近年来，计算机断层扫描（Computer Tomography，CT）成像技
12、术成为医学诊断和治疗中不可或缺的影像学手段1。然而，CT扫描产生的电离辐射会对患者的身体产生危害，甚至可能引发癌变。在临床医学中，应尽可能减少辐射，同时确保可接受的诊断准确性，因此，低剂量 CT（Low-Dose CT，LDCT）扫描应运而生。但是，辐射剂量的降低往往会造成重建图像中的斑纹噪声和非平稳条纹伪影增大，导致图像质量下降，从而影响临床诊断2。为了提高图像质量，LDCT图像去噪成为医学成像领域的一个重要研究方向，许多算法被提出用以改进低剂量 CT图像，这些算法通常被分为三类，分别为投影域正弦图过滤、迭代重建和后处理。前两种算法基于投影域数据，其数据往往不公开，使得研究难度提高，这也造成
13、实际应用中的瓶颈，而后处理方法直接对重建后的低剂量CT图像进行处理，不依赖原始投影数据，为研究带来了诸多方便。传统的后处理算法，如非局部均值（Non-Local Mean，NLM）3、块匹配（Block-Matching，BM3D）算法4-5等，计算效率较高，可以显著提高图像质量。然而，重建后的低剂量CT图像中的噪声往往呈非均匀分布，传统的后处理算法不能完全解决处理后图像中存在的过平滑、残留伪像、引入新噪声等问题。近年来，基于深度学习的方法在图像去噪任务中取得了令人瞩目的成绩6。深度学习方法通过最小化去噪图像与清晰图像之间的距离，采用外部先验知识和由数据集指导的监督训练策略。使用卷积神经网络的
14、 LDCT去噪方法不依赖大量的投影数据，而直接在CT数据的图像域中执行，可以自动提取 CT图像的潜在特征，并充分利用非局部相似性的先验知识，在应用中非常方便。DONG等7提出一种用于 CT图像去噪的超分辨率卷积神经网络（SRCNN）。此后，基于残差编解码器的网络模型 RED-CNN8被提出用于低剂量CT图像恢复。章云港等9使用空洞卷积改进RED-CNN网络，使得去噪效果得到进一步提升。由于CNN具有强大的特征学习和特征映射能力10，因此基于CNN的图像降噪方案取得了显著效果。然而，训练深度卷积神经网络需要大量干净-噪声图像对，而收集 CT图像数据成本昂贵并且耗时。在实际应用中，很难构建足够大、
15、能满足 CNN充足训练要求的数据集，数据集较小常会引起训练不充分、网络欠拟合等问题，从而导致去噪效果降低，出现图像失真。此外，文献 11-13 的研究表明，以往方法中使用均方误差（Mean Squared Error，MSE）损失来最小化所生成的去噪图像与正常剂量CT图像之间的距离，倾向于生成过度平滑的图像。而 GOODFELLOW 等 14提 出 的 生 成 对 抗 网 络（Generative Adversarial Networks，GAN）可以直接学习噪声分布，在重建图像细节上有巨大优势，但 GAN也存在网络训练困难和梯度消失的问题。为了解决这一问题，引入 Wasserstein距离来
16、衡量生成图像与真实图像分布差异的 WGAN（Wasserstein GAN）15网络被引入到 LDCT图像去噪任务，其重建后的图像具有较好的视觉效果。进一步，YANG等11提出将感知损失引入WGAN的方法，该方法在图像细节保留和解决边缘过平滑问题方面表现出色。LI等13使用自监督方法训练感知损失网络并引入自注意力机制用于低剂量 CT图像去噪，去噪后图像质量有了显著提升。考虑到配对数据难以获取，朱斯琪等 16通过改进循环一致性生成对抗网络，在无监督的情况下实现了 LDCT图像的降噪保边及纹理改善。以往的研究仅利用推断条件后验概率p(x|y)来实现低剂量 CT图像修复，由于数据稀缺，导致模型训练不够完全，在建模复杂的真实噪声分布时算法并不能发挥最好效果。YUE等17提出一种双重对抗网络（Dual Adversarial Network，DANet）框架，通过图像去噪和噪声生成2个角度来联合建模干净-噪声图像对的联合分布p（x,y），为图像去噪提供了新的思路。受此启发，本文构建一种双重对抗网络去噪模型，以解决CT图像修复问题。双重对抗网络的联合学习能让图像去噪和噪声生成相互指导从而实现更好的
