1、第 50 卷 第 2 期2 0 2 3 年 2 月Vol.50，No.2Feb.2 0 2 3湖 南 大 学 学 报（自 然 科 学 版）Journal of Hunan University（Natural Sciences）结构门控与纹理联合引导的生成对抗壁画修复陈永1，2，陶美风1，赵梦雪1（1.兰州交通大学 电子与信息工程学院，甘肃 兰州 730070；2.甘肃省人工智能与图形图像处理工程研究中心，甘肃 兰州 730070）摘 要：现有深度学习修复方法修复壁画时，受结构和纹理影响较大，修复结果易出现结构紊乱和纹理模糊等问题.针对这些问题，提出了一种结构门控融合与纹理联合引导的生成对抗壁
2、画修复模型.首先，构建由结构引导编码子网络和纹理引导解码子网络构成的生成网络，利用结构信息引导编码，并通过门控特征增强边缘轮廓信息.然后，设计纹理引导器和方向注意力模块提取分层纹理特征，引导解码器重构修复，提高壁画的纹理一致性.最后，采用跳跃连接促进结构和纹理的特征互补，并利用谱归一化马尔科夫判别模型对抗完成壁画修复.对真实敦煌壁画数字化修复实验的结果表明：所提方法主客观评价均优于比较算法，修复结果更加清晰、自然.关键词：图像处理；壁画修复；结构纹理引导；方向注意力；门控融合中图分类号：TP391.41 文献标志码：AGenerative Adversarial Mural Restorati
3、on Based on Structural Gatedand Texture Joint GuidanceCHEN Yong1，2，TAO Meifeng1，ZHAO Mengxue1（1.School of Electronics and Information Engineering，Lanzhou Jiaotong University，Lanzhou 730070，China；2.Gansu Provincial Engineering Research Center for Artificial Intelligence and Graphics&Image Processing，
4、Lanzhou 730070，China）Abstract：In view of the problems that the existing deep learning repair methods are greatly affected by the structure and texture，resulting in structural disorder and texture blur in the repair results，a generative adversarial mural restoration model jointly guided by structure-
5、gated fusion and texture is proposed.Firstly，the generation net-work composed of a structure-guided coding sub-network and texture-guided decoding sub-network is designed，which uses structure information to guide coding，and enhances edge contour information through gated features.Then，the texture gu
6、ide and orientation attention module are used to extract layered texture features，guide the de-coder to repair，and improve the texture consistency of murals.Finally，skip connection is used to promote the feature complementarity of structure and texture，and the spectral-normalized PatchGAN discrimina
7、nt model is used to com-plete mural restoration.The results from the digital restoration experiment of real Dunhuang murals show that the 收稿日期：2022-02-11基金项目：国家自然科学基金资助项目（61963023），National Natural Science Foundation of China（61963023）；教育部人文社会科学研究青年基金资助项目（19YJC760012），MOE（Ministry of Education in Ch
8、ina）Project of Humanities and Social Sciences（19YJC760012）；兰州交通大学天佑创新团队（TY202003），Tianyou Innovation Team of Lanzhou Jiaotong University（TY202003）作者简介：陈永（1979），男，甘肃武威人，兰州交通大学教授，博士 通信联系人，E-mail：文章编号：1674-2974（2023）02-0001-11DOI：10.16339/ki.hdxbzkb.2023263湖南大学学报（自然科学版）2023 年subjective and objective ev
9、aluation of the proposed method is better than the comparison algorithm，and the restora-tion results are clearer and more natural.Key words：image processing；mural restoration；structural texture guide；orientation attention；gated fusion敦煌莫高窟是世界文化艺术的璀璨瑰宝，其壁画举世闻名，具有极高的研究价值.然而，由于恶劣的自然环境、人为破坏等因素，出现了不同程度的脱
10、落、裂缝等病害，亟待保护.将数字化修复技术应用于古壁画的保护，已成为当前的研究热点1.图像数字化修复是利用已有完好区域的先验信息对破损区域进行估计完成填充，使修复结果满足人眼视觉感受的计算机技术.图像修复方法主要分为：传统图像修复方法和深度学习图像修复方法.其中，传统图像修复方法主要利用像素扩散、样本匹配和稀疏表示等方法完成修复，如Sridevi等2提出了一种基于差分曲率驱动的分数阶非线性扩散的图像修复模型，减少了修复结果的阶梯效应和修复伪影.Chen等3提出了一种改进的全变分最小化的图像修复方法，对修复结果中线条断裂问题有一定的改善.陈永等4通过块核范数的RPCA将图像分解为结构层和纹理层，
11、并利用提出的熵权类稀疏方法完成壁画修复，对壁画图像中小范围边缘和纹理破损修复有较好的效果.周李洪等5提出了基于稀疏表示的车用带钢表面图像信息修复方法，利用稀疏修复模型对分割后的不同图像区域进行修复，修复效果有所改善.但是上述传统的图像修复方法主要针对破损区域较小范围的修复，不能充分利用图像的上下文高级语义信息，无法完成大面积破损区域的修复.为了克服传统图像修复算法的不足，随着深度学习技术的快速发展，基于深度学习的图像修复算法逐渐成为目前的主流方法.Xie等6提出了一个双向可学习的注意力图模块，以端到端的方式学习图像和掩膜的特征，但该网络在特征提取时，忽略了结构和纹理先验信息对于修复结果的引导性
12、，导致破损空洞过大时会出现结构紊乱的问题.Liu等7提出了基于连贯语义注意的图像修复模型，利用样本块匹配的思想对破损区域进行预测完成修复，但修复结果存在块效应问题.Yuan等8提出了基于条件生成对抗网络的多视角场景图像修复，结合多视角图像对破损区域进行修复，但多视角图像之间的视角偏差会导致修复结果出现纹理紊乱的问题.Wadhwa等9提出了一种基于超图卷积的图像修复方法，以加强对图像空间特征的关注，但该方法对结构纹理等先验信息考虑不足，导致修复结果存在语义不合理和纹理模糊等现象.总之，上述深度学习算法由于缺乏对结构纹理信息的关注，往往会出现结构不连贯和纹理紊乱等问题.因此，增强结构和纹理特征的感
13、知表达能力对图像修复结果具有重要意义，如Xiong等10提出了一种前景感知的图像修复模型，首先对图像进行前景轮廓预测，然后利用得到的轮廓完成缺失区域的修复，但前景分离不彻底对修复结果有较大影响.Liu等11提出了互编码器-解码器的图像修复模型，结合多尺度和注意力特征融合解码器生成图像，但修复过程未考虑图像的方向特征信息，修复结果易出现纹理不一致的现象.Nazeri等12提出了双阶段EdgeConnect图像修复模型，通过边缘生成器生成图像的边缘信息，然后利用边缘图像引导修复，取得了较好的修复效果，但该方法忽略了纹理信息的重要性，修复结果会出现一定的伪影现象.Ren等13提出了结构粗修复和纹理精
14、修复的级联修复模型，但该方法缺少对结构和纹理特征的联合约束，导致修复结果存在信息丢失和修复不彻底的问题.Li等14提出了一种渐进式视觉结构引导的生成对抗修复模型，该方法利用视觉结构引导图像编码，但编码器中采用部分卷积难以区分有效像素与无效像素，修复后的图像易出现伪影现象.Wang等15提出了一种基于边缘和结构先验的图像修复模型，采用权值共享的方式使用多尺度卷积和残差块从原图、结构图等多源图像中提取特征，但该方法未对结构和纹理信息的差异性进行考虑，修复结果存在纹理细节模糊现象.综上所述，现有深度学习图像修复方法在修复壁画时，缺少结构和纹理先验信息对修复过程的联合约束性引导，导致壁画修复结果易出现
15、结构紊乱2第 2 期陈永等：结构门控与纹理联合引导的生成对抗壁画修复和纹理模糊等问题.针对上述问题，本文提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复深度学习模型.主要工作有：1）构建修复生成网络，由结构引导编码子网络和纹理引导解码子网络组成，利用结构信息引导编码，通过设计门控特征融合（Gated Feature Fusion，GFF）机制将壁画特征和结构特征进行层间融合，以获得丰富的边缘轮廓信息.2）通过纹理引导解码子网络对编码后特征图解码，利用提出的方向注意力模块（Orientation Attention Module，OAM）得到纹理方向特征，将纹理方向特征作为解码器的引导信息
16、，指导壁画图像生成，以提高修复结果的结构一致性和纹理合理性.3）采用跳跃连接促进编码器和解码器的特征融合共享，加强结构和纹理之间的特征互补，并通过谱归一化马尔科夫判别模型对抗完成破损壁画的修复.通过真实破损敦煌壁画的修复实验表明，所提算法在清晰度和连贯性等主客观评价方面均优于对比算法.1 本文算法1.1 整体网络框架壁画图像往往呈现出结构多样、纹理复杂的特点1.在对壁画进行修复时，为了更好地实现对破损壁画的修复，模型建立时考虑到不仅需要学习壁画的基本特征信息，更要利用其结构和纹理特征作为约束引导网络进行学习，以便获得视觉效果更加真实、自然的修复结果.因此，提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复模型，其网络整体框架如图1所示.该网络模型以生成对抗网络为基础，由生成网络和判别网络构成.其中，生成网络包括结构引导编码子网络和纹理引导解码子网络.判别网络采用谱归一化马尔科夫判别模型.模型工作时，首先，将待修复壁画图像和结构图输入结构引导编码子网络中，通过编码器和结构引导器分支分别提取壁画特征和结构特征.在编码的过程中利用结构特征作为引导信息，设计GFF门控特征融合机制对提取到的