1、第 47 卷 第 1 期燕山大学学报Vol.47 No.12023 年 1 月Journal of Yanshan UniversityJan 2023文章编号:1007-791X(2023)01-0054-10基于无监督学习的编码衍射成像方法研究石保顺1，2，*，吴一凡1，2，练秋生1，2(1燕山大学 信息科学与工程学院，河北 秦皇岛 066004;2燕山大学 河北省信息传输与信号处理重点实验室，河北 秦皇岛 066004)收稿日期:2022-05-06责任编辑:温茂森基金项目:国家自然科学基金资助项目(61901406);河北省自然科学基金资助项目(F2020203025);河北省青年拔尖
2、人才项目(BJ2021044)作者简介:*石保顺(1989-)，男，河北唐山人，博士，副教授，主要研究方向为计算成像、衍射成像、医学图像处理等，Email:shibaoshun ysueducn。摘要:编码衍射成像旨在利用衍射强度图样重建原始图像，而现有基于人工设计先验的编码衍射成像算法大都在低信噪比下成像质量低。通过基于深度神经网络学习的深度先验能够解决上述问题，但有监督学习需要大规模样本对，不利于实际应用。针对这一问题，本文提出一种基于无监督学习的编码衍射成像方法。该方法结合双数据保真项、卷积稀疏编码模型和深度图像先验模型构建了能够融合互补先验的优化模型，并利用交替优化方法对其进行有效求解
3、。实验结果表明，提出的方法能够在低信噪比下仅通过单幅编码衍射强度图样重建出高质量的图像。关键词:计算成像;衍射成像;无监督学习;深度图像先验;卷积稀疏编码中图分类号:TP39141，O436文献标识码:ADOI:103969/jissn1007-791X2023010060引言编码衍射成像作为相位恢复领域的一个研究热点，在生物学 1、医学 2、光学 3-4 及天文学 5 领域有着广泛应用。编码衍射成像系统在观测物体后加入随机相位板对物体结构信息进行调制，通过探测器记录编码衍射图样(Coded diffractionpatterns，CDP)。由于采样设备的限制，探测器只能记录衍射图样的强度值，
4、导致测量的数据丢失了相位信息。因此通过 CDP 重建原始图像是一个高度不适定的非凸、非线性问题，如何对该问题进行有效求解是一大挑战。解决该非凸优化问题的一个思路是通过数学方法构建较好的初始解并利用基于梯度的迭代算法进行求解，主要代表算法有 WF(Wirtinger flow)算法 6、TWF(Truncated wirtinger flow)算法 7、TAF(Truncated amplitude flow)算法 8 等。该类方法未利用先验信息，导致重建高质量图像需要多幅编码衍射图样。为解决该问题，基于人工设计先验的算法利用图像固有先验信息进行编码衍射成像，例如基于稀疏性的衍射成像算法 9-1
5、3 及基于非局部相似性的衍射成像算法 14-17 等。Tillmann等 9 利用图像在自适应字典下的稀疏性，提出了DOLPHIn 算法用于编码衍射成像。Chang 等 10 通过构造全变差正则项引入梯度稀疏性来提高相位恢复的重建质量。Shi 等 11 提出了一种正则化与交替投影框架相结合的编码衍射成像算法，有效地将 BM3D(Block matching and 3D collaborativefiltering)框架下的稀疏性引入到图像重建中。Katkovnik 等基于物体相位和振幅在变换域的稀疏性，结合 GS(Gerchberg-Saxton)18 算法提出了能够进行像素分辨率衍射成像的
6、 SPA(Sparsephase amplitude reconstruction)14 算法及亚像素分辨率衍射成像的 S-SPA(Super-resolution sparsephase amplitude retrieval)15 算法。上述基于人工设计先验的编码衍射成像算法利用的先验是通过解析方法刻画的，难以充分描述所有图像的统计分布信息。因此，利用人工设计先验的编码衍射第 1 期石保顺 等基于无监督学习的编码衍射成像方法研究55成像算法的重建质量有很大提升空间。近些年，深度学习技术引起了学者们的广泛关注，该技术能够利用大规模数据集和深度神经网络强大的表示能力学习对训练数据集最优的网络模
7、型 19-20。Hand 等 21 提出了一种基于生成先验的相位恢复框架，证明了在相位恢复任务中利用生成模型的策略优于基于稀疏性的相位恢复算法。针对相位恢复问题，Morales 等 22 提出了一种端到端的方法，该方法通过联合学习谱初始化和深度神经网络参数来解决相位恢复问题。上述基于有监督学习方法训练的深度神经网络对特定信噪比是最优的，但对其他信噪比是非最优的。因而，在不同信噪比下，上述方法需要重新训练深度神经网络，灵活性较差。为弥补该不足，即插即用方法将事先训练好的深度高斯去噪器引入到优化过程中。其中 Metzler 等 23 将卷积神经网络去噪器引入到去噪正则化(egularization
8、 by denoising，ED)24 框架提出了 prDeep 算法，Shi 等 25 利用图像与去噪图像的相似性提出了能够融合深度去噪器先验的稀疏表示正则化模型，有效提高了编码衍射成像的成像质量及分辨率。上述编码衍射成像网络或深度高斯去噪器都采用有监督的学习方式进行学习，泛化能力较差，并且深度神经网络训练需要大规模数据集。为解决该问题，Ulyanov 等 26 提出一种称为深度图像先验(Deep image prior，DIP)的无监督深度学习框架。图像的统计分布可以由深度神经网络结构本身所表征，基于该观测，DIP 能够仅通过退化图像学习网络参数并表征图像。DIP 的提出为深度学习提供了一
9、种新的思路，即无监督学习，其参数并不需要通过大量的外部数据集进行学习。然而，DIP 框架存在过拟合的问题，解决该问题最直接的方式是早停技术，但最优的早停迭代次数难以精确获得。为弥补该不足，Cheng 等 27 提出了基于随机梯度 Langevin 动力学进行后验推断的 DIP，该方法不需要早停技术就能够获得满意解。为进一步提升 DIP 求解图像反问题的性能，学者们将传统先验与 DIP 相结合以提升重建质量，例如 Sun等 28 将即插即用先验与 DIP 相结合，解决了由过拟合 导 致 的 DIP 算 法 重 建 质 量 低 的 问 题。Cascarano 等 29 将梯度稀疏性与 DIP 相结
10、合进行了高质量的图像复原。Mataev 等 30 通过引入ED 模型，将非局部相似性与 DIP 相结合提出了DeepED 算法，该算法较原始 ED 和 DIP 算法的性能具有显著提升。上述无监督学习方法针对线性、凸问题取得了较好的效果，但当采用无监督学习方法求解编码衍射成像等非线性、非凸优化问题时，仍存在以下挑战:1)现有基于深度图像先验的方法并未充分利用图像固有先验信息，如何挖掘并利用互补的图像先验信息提升重建质量是一大挑战;2)DeepED 算法能够利用互补先验知识进行图像重建，但估计图像过程中并未充分挖掘测量数据包含的待重建图像信息。为解决这两个问题，受卷积 稀 疏 编 码(Convol
11、utionalsparsecoding，CSC)31-32 及双数据保真项在单曝光压缩成像 33 领域成功应用的启发，本文通过双数据保真项、卷积稀疏编码模型和深度图像先验模型提出一种基于无监督学习的编码衍射成像算法。在本文提出的方法中，CSC 模型通过线下训练好的卷积字典表示图像，DIP 通过退化图像优化深度神经网络的参数，实现深度神经网络的“线上”训练。两者有效结合，理论上能够有效融合互补先验知识。双数据保真项有利于进一步挖掘编码衍射强度图样中的信息，辅助 DIP 框架中参数的无监督学习。因此，与现有编码衍射成像算法相比，本文提出的算法有望在低信噪比情况下仅通过单幅编码衍射图样重建更高质量的
12、图像。1现有无监督学习方法现有基于无监督学习的方法大都应用在线性图像反问题的求解中。对于给定的测量数据 y=Hx+n，Hnn表示退化矩阵，n 表示加性高斯白噪声对应的向量。根据最大后验概率准则，从测量数据 y 中重建图像 x 的优化模型可描述为minxy Hx22+(x)，(1)式中，(x)表示正则项，表示正则化因子。上述模型能够利用正则化项引入不同的先验，但通常为人工设计，不能够有效描述待重建图像的统计特性。深度图像先验利用深度神经网络架构能够仅通过退化图像更新网络参数进而拟合原始图像，为图像反问题的求解提供了一种新的先验。该先验假设 x 为神经网络 T(z)的输出，其56燕山大学学报202
13、3中网络输入 z 是随机向量，该向量在优化迭代过程中保持固定不变，是待学习的网络参数。利用测量数据进行参数更新的优化模型为miny HT(z)22。(2)式(2)可通过梯度下降方法利用测量数据更新网络参数，一旦确定了这些参数，则重建图像可通过 T(z)获得。基于有监督学习的深度神经网络从训练数据集的样本对中学习网络参数，而上述方法更新参数 并未利用标签信息，因此该过程是“无监督”的。尽管 DIP 在图像复原问题中已被证明是非常有效的无监督学习方法，但与现有最先进图像复原算法相比仍有一定差距。为解决该问题，可通过正则项将不同的先验信息引入到图像复原中来提高图像恢复质量。基于 DIP 模型及蕴含先
14、验的正则化构建联合优化图像与网络参数的最小化问题minx，y HT(z)22+(x)st x=T(z)，(3)式中:y HT(z)22表示数据保真项;表示正则化参数。代价函数中不同的正则项对应不同的先验知识，常用的正则项包括 ED 24、各向同性全变差 29 及各向异性全变差 34。2融合卷积稀疏编码及深度图像先验的编码衍射成像理论上，编码衍射成像采样模型可以描述为y=|x|2+n，(4)式中:xN表示原始图像;yN表示无相位的编码衍射强度图样;x 在编码衍射成像模型下可表示为 x=F(Mx)，其中 F 和 M 分别代表傅里叶变换矩阵和随机掩膜矩阵;代表哈达玛(Hadamard)积。21优化模
15、型为提升重建质量，利用图像在卷积字典学习下的稀疏性，构建图像在卷积字典下的稀疏表示模型，并将其引入到基于正则化的 DIP 框架中。其优化模型可表述为minx，iy|x|222+Ni=1ixDi22+(i)st x=T(z)，(5)式中:inN表示取块算子;D 表示卷积字典;表示对应图像的表示系数;()表示 的稀疏惩罚函数，通常采用0或1;表示正则化因子;Di=Cc=1Dc*i，c，*表示二维卷积算子，C 表示通道数。上述模型未能充分利用测量数据中包含的图像信息，为解决该问题，构建以下融合互补先验的双保真优化模型，即minx，iy|x|222+y|T(z)|222+Ni=1ixDi22+(i)s
16、t x=T(z)，(6)式中第一、二项为双数据保真项，通过估计图像和无监督网络的输出图像匹配测量数据，该项能够充分挖掘测量数据中待重建图像信息。第三项为图像在卷积字典下的表示误差，用于衡量字典的表示能力。第四项是对卷积字典进行稀疏约束的正则项。约束项为图像的深度图像先验约束。22模型求解由于式(6)中代价函数的第一项与第三项都包含图像 x，引入辅助变量 v 用以去耦合，将式(6)转化为minx，i，vy|x|222+y|T(z)|222+Ni=1ivDi22+(i)st x=T(z)，x=v。(7)式(7)是一个多变量优化问题，本文采用半二次分裂(Half quadratic splitting，HQS)算法对其进行求解。式(7)定义的优化模型等价为minx，i，vy|x|222+y|T(z)|222+Ni=1ivDi22+(i)+xT(z)22+xv22。(8)求解上述优化模型的迭代步骤如下:1)固定 x，i，v 更新网络参数 对应的子优化问题为miny|T(z)|222+xT(z)22，(9)式中第一项用以保证更新的深度神经网络参数与测量数据相匹配，第二项迫使估计图像 x 逼近通过
