1、2202023 adio Engineering Vol.53 No.1doi:103969/jissn10033106202301028引用格式:周小力，史方，赖松雨，等基于增强型超分辨率生成对抗网络的文物图像色彩重建J 无线电工程，2023，53(1):220229ZHOU Xiaoli，SHI Fang，LAI Songyu，et al Color econstruction of Cultural elics Image Based on Enhanced Super-esolution Generative Adversarial Network J adio Engineering
2、，2023，53(1):220229基于增强型超分辨率生成对抗网络的文物图像色彩重建周小力，史方，赖松雨，骆忠强(四川轻化工大学 自动化与信息工程学院，四川 宜宾 644000)摘要:针对书画文物的褪色和画面暗旧等问题，提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color econstruction of Cultural elic Images Based on Enhanced Super-esolution Generative Adversarial Network，C-ESGAN)模型。该模型针对缺少成对图像的数据集问题，在双 3 次下采样的基础上提出了利用颜色迁移
3、算法来生成逼真的暗旧、褪色的文物图像。同时改进了 ESGAN 网络，在其生成网络中引入自注意力机制，以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比(Peak Signal to Noise atio，PSN)/结构相似性(Structural Sililarity Index，SSIM)的基础上引入颜色评价指标 CIEDE2000，以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比，视觉效果和图像质量有较高的提升。关键词:书画文物图像;超分辨率重建;色彩修复;生成对抗网络;自注意力机制中图分类号:TP3914文献标志码:A开放科学(资源服务)
4、标识码(OSID):文 章 编 号:10033106(2023)01022010Color econstruction of Cultural elics Image Based on EnhancedSuper-esolution Generative Adversarial NetworkZHOU Xiaoli，SHI Fang，LAI Songyu，LUO Zhongqiang(School of Automation and Information Engineering，Sichuan University of Light Chemical Technology，Yibin 644
5、000，China)Abstract:For the problems of fading of painting and calligraphy cultural relics and dark old pictures，a Color econstruction ofCultural elics Images Based on Enhanced Super-esolution Generative Adversarial Network(C-ESGAN)model fis proposed Tosolve the problem of datasets lacking paired ima
6、ges，a color transfer algorithm is used by the model to generate realistic dark，faded andfaded cultural relic images on the basis of bicubic downsampling The ESGAN network is improved，and self-attention mechanism isintroduced into its generative network to enhance the texture details of the reconstru
7、cted imagesBased on the commonly used imagequality evaluation index Peak Signal to Noise atio(PSN)/Structural Similarity Index(SSIM)，the color evaluation indexCIEDE2000 is introduced to evaluate the quality of the reconstructed image more comprehensively and objectively Compared withseveral existing
8、 super-resolution algorithms and its cultural relic image color restoration method，the visual effect and image quality havebeen improved by the proposed methodKeywords:cultural relics and painting images;super-resolution reconstruction;color restoration;generative adversarial network;self-attention
9、mechanism收稿日期:20221021基金项目:国家自然科学基金(61801319);四川省科技计划资助项目(2020JDJQ0061，2021YFG0099);中国高校产学研创新基金项目(2020HYA0400)Foundation Item:National Natural Science Foundation of China(61801319);Project Funded by Science and Technology Program of Sichuan Province(2020JDJQ0061，2021YFG0099);Project of University In
10、dustry-University-esearch Innovation Foundation of China(2020HYA0400)0引言古代书画作品有着很高的文化、社会、艺术和人文价值，但是由于时间的流逝、环境的变化以及创作纸张、绢布和颜料等因素的影响，许多从古代流传至今的书画作品出现了不同程度的损坏和褪色。目前，我国书画文物的保护修复主要依赖于传统的书画装裱技术 1。对于褪色和色彩被破坏的书画文物主要采取用毛笔等工具手动填色和修复的方式。这个过程对修复人员的专业要求极高，且在人工修复的过程中可能会对文物造成二次破坏，导致最终的修复结果不能令人满意。虽然一些基于现代科技的文物色彩修复技
11、术被提出，例如基于可见光谱 23 的文物色彩修复，但其在修复色彩的同时会造成一些图像的局部细节丢失。因工程与应用2023 年 无线电工程 第 53 卷 第 1 期221此，利用数字图像修复技术对书画文物暗旧、褪色等问题进行研究具有重要的意义 4。在颜色修复方面，einhard 等 5 第一次提出使用数字图像处理技术对图像进行颜色矫正，但其只对颜色单一的图像有良好的效果，对于颜色复杂的图像会产生较多的误差。胡国飞等 6 在此基础上提出了一种基于统计学的自适应图像颜色迁移技术，在还原色彩的同时能够保留局部纹理信息。2005 年，张引等 7 提出了利用无监督学习聚类自动采集样本的颜色还原方法，但该方
12、法对图像纹理特征和亮度特征存在较大的差异时效果不理想。Gatys 等 8 利用卷积神经网络(Convolutional Neural Network，CNN)的特征表示来约束纹理以及色彩信息的合成，但是对一些含有噪声的图像来说并不能达到理想的效果。2019 年由 Hashisho等 9 提出的利用具有 U-Net 架构的去噪自动编码器开发的水下去噪自动编码器(Underwater Denoising Au-toencoder，UDAE)模型实现了对水下图像的颜色恢复。随后，Xu 等 10 提出了一个基于参考的端到端的学习框架来实现对旧照片的恢复和着色，参考图像中的颜色先验来指导过程。上述方法在
13、针对自然图像以及特定场景图像的颜色修复中取得了较好的效果，但是并不适用于书画文物图像这样结构复杂、色彩丰富的图像。因此本文旨在研究一种适用于书画文物图像的色彩重建方法。为了在重建文物图像色彩的同时能保证图像的结构及纹理细节不受破坏，本文提出将图像超分辨率重建技术引入到书画文物图像色彩重建工作中。图像超分辨率(Super-esolution，S)是一种重要的 图 像 处 理 技 术，旨 在 从 低 分 辨 率(Low-esolution，L)图像中恢复丰富的细节。近年来，许多基于 CNN 的 S 方法被提出。Dong 等1112 首先提出了一个简单的图像超分辨率神经网络，并在后续提出了改进网络，
14、提升了训练速度。同一年，Shi 等13 提出了亚像素卷积层，可以在 L 空间中实现特征提取。Kim 等1415 引入了残差学习，并使用高学习率来优化其网络。Lim 等16 提出了增强型深度超分辨率(Enhanced Deep Super-esolution，EDS)网络，改进了残差网络内部结构，去掉了 BN(Batch Norm)层，减少了内存使用量。2018 年，Zhang 等17 提出了深度残 差 通 道 注 意 网 络(esidual Channel AttentionNetworks，CAN)。Ledig 等利用生成对抗网络(Gen-erative Adversarial Networ
15、k，GAN)18 在超分辨率领域做了创新，提出了超分辨率生成对抗网络(Super-es-olution Generative Adversarial Network，SGAN)19。随后，Wang 等20 提出了增强型超分辨率生成对抗网络(Enhanced Super-esolution Generative AdversarialNetworks，ESGAN)，改进了 S-GAN 的残差网络结构、感知损失函数以及判别器的标准，在自然纹理上获得了更好的视觉效果。本文基于 ESGAN 模型，结合自注意力机制以及颜色迁移算法，提出一种基于增强型超分辨率生成 对 抗 网 络 的 文 物 图 像 色
16、彩 重 建(Colorecenstruction of Cultural elic Images Based on En-hanced Super-esolution Generative Adversarial Net-work，C-ESGAN)，实现书画文物图像的色彩恢复以及改善画面暗旧的问题。1基于增强型生成对抗网络的文物图像色彩重建模型C-ESGAN 整体框架如图 1 所示。图 1C-ESGAN 整体网络框架Fig1Overall network framework of C-ESGAN工程与应用2222023 adio Engineering Vol.53 No.1该模型针对色彩受损(如暗旧、褪色等)的书画文物图像，在 ESGAN 的基础上，提出了运用超分辨率重建的方法生成色彩，得到修复的高分辨率书画文物图像的模型。整体分为训练和测试 2 个阶段。在训练阶段，利用退化模型处理书画文物数据集中的颜色未受损的高分辨率图像 IH，生成特征逼近真实暗旧、褪色的低分辨率书画文物图像 IL的图像IH，形成 L-H 图像对进行训练。IH经过超分辨率重建后生成 S 图像IH。判别网络通过最小
