1、http:/DOI:10.13700/j.bh.1001-5965.2021.0440结构引导的渐进式生成对抗壁画修复陈永1，2，*，陈锦1，陶美风1(1.兰州交通大学电子与信息工程学院，兰州730070；2.甘肃省人工智能与图形图像处理工程研究中心，兰州730070)摘要：针对破损壁画图像修复过程中存在的结构修复不当及修复后壁画细节重构丢失等问题，提出了一种基于结构引导的渐进式生成对抗壁画修复深度学习模型。设计结构生成器对壁画缺失结构内容进行修复，得到修复的壁画结构图像。通过壁画生成器生成对抗学习，结合改进的双池化 SKNet 多尺度特征提取模块，利用修复后的结构图像引导破损壁画实现渐进式修
2、复，以提高壁画的细节特征学习能力。通过局部判别器和全局判别器，完成对结构图像和壁画图像的重构判别，增强壁画修复效果的全局一致性。通过对真实敦煌壁画数字化修复的实验表明：所提方法能够有效修复破损的敦煌壁画，修复后的壁画具有更好的结构及细节信息，在主客观评价指标上均优于比较方法。关键词：图像重构；壁画修复；结构引导；双池化特征选择；生成对抗网络中图分类号：TN911.73文献标志码：A文章编号：1001-5965（2023）06-1247-13敦煌莫高窟是世界文化艺术的璀璨瑰宝，其壁画闻名于世，具有极高的研究价值。然而，由于自然环境恶劣、人为破坏及绘画材料脆弱性等因素，壁画出现了不同程度的剥落、裂
3、缝、霉菌等病害，亟待保护。将数字化修复技术应用于古代壁画的修复保护，已成为当前的研究热点1。目前，图像修复方法可以分为传统图像修复和深度学习修复 2 类。其中，传统图像修复方法通常采用像素级扩散和样本块合成等方法2-5。Li 等6提出一种压缩全变分(totalvariation，TV)的方法对图像进行重建，利用模型表征图像的先验知识，修复后图像边缘不清晰的问题得到了改善。Bini7提出一种基于 DOST 和全变分正则化的图像修复方法，利用离散正交 Stockwell变换的方法对图像进行复原。Wan 等8提出一种基于群体稀疏性和 TV 正则化的图像修复模型，提高修复后图像细节。陈永等9在曲率驱动
4、扩散(curvaturedrivendiffusions，CDD)算法基础上引入自适应控制策略和光滑函数，对壁画裂纹病害取得了较好的修复。传统图像修复方法对小面积破损具有一定的修复能力，当破损面积过大时则会出现结构紊乱、无效填充等问题10。深度学习修复方法通过大量语义特征学习，较传统图像修复方法能够实现较大破损区域的修复11-17。Xie 等11在 U-Net 的基础上引入可学习的双向注意力机制，提高对图像掩膜区域有效像素修复的针对性。Du 等12通过在模型框架中引入自监督模块，对图像背景和语义进行一致性约束，可以在破损区域重建出较清晰的图像。Demir和 Unal13提出一种基于残差块特征提
5、取的生成对抗网络模型，通过 patch-GAN 与全局判别器相结合的方法对图像进行修复，提高纹理修复清晰度。Fang 等15在 U-Net 网络的基础上，结合混合空洞卷积和光谱归一化进行缺失图像的修复，但该方法存在细节像素丢失的问题。He 和 Yin15利用上下文收稿日期：2021-08-04；录用日期：2021-11-05；网络出版时间：2021-11-1613：50网络出版地址： J.北京航空航天大学学报，2023，49（6）：1247-1259.CHEN Y，CHEN J，TAO M F.Mural inpainting progressive generative adversaria
6、l networks based on structure guidedJ.Journal ofBeijing University of Aeronautics and Astronautics，2023，49（6）：1247-1259（in Chinese）.2023年6月北京航空航天大学学报June2023第49卷第6期JournalofBeijingUniversityofAeronauticsandAstronauticsVol.49No.6注意力模块和马尔可夫随机场等理论对模型进行完善，提高修复后区域信息的精细度。Shi 等16提出一种基于注意转移跨层机制的生成图像修复网络，改善了
7、大面积破损图像修复后存在的模糊等问题，但修复后的图像结构感较弱。胡凯等17提出一种基于边缘色彩粗修复与精修复结合的两段式修复方法，提升了对于图像结构信息的利用，但存在修复效果受阈值参数固定影响的问题。然而，破损敦煌壁画具有复杂的结构信息，结构信息的缺失易造成纹理信息的大量丢失18。因此，在修复破损敦煌壁画时应注重对其结构的修复。针对现存深度学习方法修复壁画图像时存在结构修复不当及修复后壁画细节缺失的问题，本文提出了一种基于结构引导的渐进式生成对抗壁画修复深度学习模型。主要工作包括：构建结构生成器，对壁画图像的结构信息进行重构。利用重构的壁画结构图像引导壁画生成器实现渐进式修复，并设计双池化 S
8、KNet 多尺度特征提取模块，充分利用壁画的细节特征。通过局部判别器和全局判别器，完成对结构图像和修复结果的博弈判别，提升壁画修复结果的语义一致性。通过对破损敦煌壁画进行修复实验，结果表明，本文方法能够有效修复破损壁画，且修复后的壁画具有更强的结构及细节信息。1本文方法1.1网络总体框架结构是图像的重要组成部分之一，完整的结构对于破损图像的修复具有重要的引导性19。破损的敦煌壁画往往伴随着结构丢失的问题，针对该问题，本文提出了一种基于结构引导的渐进式生成对抗壁画修复网络(structure-guidedprogressivemuralinpa-intinggenerativeadversari
9、alnetworks，SG-PMIGAN)。SG-PMIGAN 网络模型主要由结构生成器、壁画生成器及判别器网络 3 部分组成，如图 1 所示。首先，通过结构生成器对破损壁画结构区域进行修复。然后，将修复后的结构图像与破损壁画图像同时输入到壁画生成器中，利用修复后的结构图像引导破损壁画实现渐进式修复，并结合改进的双池化SKNet 多尺度特征提取模块，利用不同尺度大小的卷积核对壁画特征进行多分辨率提取，用于学习壁画深层特征，提高模型对壁画细节特征提取的能力。最后，通过局部判别器和全局判别器，完成对结构图像和壁画图像的重构判别，增强壁画修复效果的全局一致性，达到利用结构图像引导修复重构出具有完整结
10、构和细节特征的壁画目的。128643216842124321681286464128256512512512512 512512512512512256128642563真或假壁画生成器全局判别器破损壁画结构图像+掩膜+2563修复后的壁画修复后的结构图像真或假局部判别器L2sLadvsL1mLadvm结构生成器64643232161688446464323216168844128128双池化SKNet多尺度特征提取模块图1本文总体模型框架Fig.1Modelframeworkoftheproposedmethod1.2结构生成器Smooth结构的缺失会导致图像修复时出现像素扩散、纹理缺失的情
11、况，此外修复后的图像也会存在结构修复不当、全局一致性差等问题。为使修复后的壁画具有更加完整的结构特征，本文通过结构生成器对破损壁画缺失结构进行修复，如图 2 所示。结构生成器对缺失结构修复时，首先利用平滑函数20提取壁画结构信息，然后将掩膜和提取的结构信息进行融合生成待修复的结构图像，最后将其输入至结构生成器，利用编码器和解码器对待修复结构图像进行对抗学习，生成修复后的结构图像，公式如下：Simg=Smooth(x,c)（1）SG=Gs(Simgm)（2）xcSmoothSimgGsmSG式中：为待修复壁画图像；为颜色通道数，一般取 3，利用平滑函数可以提取壁画结构信息；为所得的结构图像；为结
12、构生成器；为掩膜；为修复后的结构图像。1248北 京 航 空 航 天 大 学 学 报2023年结构生成器采用自动编码器和解码器实现对破损壁画结构内容的修复。编码器和解码器工作示意图如图 3 所示。结构生成器首先将输入的待修复破损结构图像通过编码器进行降维编码；然后将得到的编码通过解码器进行解码得到生成图像样本；最后通过局部判别器比较原始结构图像与生成图像的差异，来迭代训练网络，以优化结构生成器网络模型。编码解码原理公式如下：h1=e(W1x+b1)（3）y=d(W2h1+b2)（4）edW1W2b1b2h1xy式中：和分别为编码和解码函数；和分别为编码和解码器的权重；、为偏置；为中间语义编码；
13、为输入；为生成结果。结构生成网络损失函数如下：J(W,b)=L(x,y)=xy22（5）1.3壁画生成器在完成破损壁画结构修复后，再渐进采用壁画生成器网络完成图像修复。该过程采用结构引导的渐进方式完成壁画修复，壁画生成器结构如图 4所示。该阶段主要步骤包括：提取有效结构图像；通过模型学习有效结构图像和整体壁画图像两者的特征分布；利用修复后的壁画结构图像渐进式引导破损壁画完成修复。SGMin对于步骤，首先，将修复完成的结构图像和掩膜图像同时输入到模型中；然后，利用式(6)对掩膜图像进行 0、1 化处理，使其成为只含有 0、输入图像结构图像破损结构图像Smooth函数掩膜图像HW修复后的结构图像H
14、/2W/2HWH/4W/4H/2W/2输出图2结构生成器示意图Fig.2Schematicdiagramofstructuregenerator编码阶段解码阶段破损壁画输入层隐藏层输出层生成后的壁画W1W2图3编码器和解码器结构Fig.3Structureofautoencoderanddecoder12864321684212432168128646412825651251251251251251251251251225612864双池化SKNet多尺度特征提取模块+修复后的结构图像提取后的结构图像提取输入掩膜图像壁画图像修复后的壁画输出图4壁画生成器结构Fig.4Structureofmu
15、ralgenerativenetwork第6期陈永，等：结构引导的渐进式生成对抗壁画修复1249MoutSGS1 的图像矩阵；最后，通过式(7)，利用得到的 0-1 矩阵与结构图像矩阵相乘，得到最终的有效结构图，该步骤的主要目的是为了对破损区域有效定位，提高生成对抗学习的针对性，明确学习范围。Mout=1255Min（6）S=MoutSG（7）SIin对于步骤，采用提出的双池化 SKNet 多尺度特征提取模块增强对有效结构图像 和壁画的特征提取能力。该过程主要由 3 个不同尺度的卷积核来实现，公式如下：si,j=f(tm=1tn=1wm,nxi+m,j+n+wb)（8）si,jijxi,jij
16、twm,nwbf式中：为特征图的第 行 列的元素；为原图像矩阵中第 行 列的元素；为卷积核大小；为权重；为偏置；为激活函数。S在结构特征学习时，为了提高学习效率，通过对输入的有效结构图像，仅学习与掩膜部分相对应区域的特征，整体效果如图 5 所示。可以看出，不同尺度的卷积核对特征提取的差异性，采用较小33 的卷积核可以提取到较底层的语义信息，而采用较大的 77 卷积核可以增大感受野，获得更多的全局特征信息。Conv 33Conv 55Conv 77壁画图像结构图像破损结构图像图5特征提取效果示意图Fig.5Schematicdiagramoffeatureextractioneffect在步骤中，模型通过学习到的壁画特征分布来实现壁画破损区域的重构，同时利用结构特征分布为壁画修复提供一个重要参考，引导完成壁画的修复。在修复过程中，模型通过在(x,y)处壁画整体特征分布及(x,y)处的结构特征分布来生成该点的特征，如下：Ix,y=(fsx,y,fx,y)（9）Iout=Gm(Iin,S,Min)（10）Ix,yfsx,ySfx,yMinSIinGmIout式中：为输出壁画(x,y)处的特征
