1、 基于三阶段生成网络的图像修复邵新茹 叶海良 杨 冰 曹飞龙摘 要 基于深度学习的图像修复研究重点之一是色彩、边缘和纹理的生成，然而，已有研究对色彩、边缘和纹理生成方法还可优化 因此，文中提出三阶段生成网络，每个阶段分别侧重于对色彩、边缘和纹理的合成 具体而言，在 色彩生成阶段，可在 色彩域中重建图像的全局色彩，为修复过程提供色彩指导 在边缘优化阶段，设计边缘学习框架，可获取更准确的边缘信息 在纹理合成阶段，构建特征双向融合解码器，增强图像的纹理细节 上述三个阶段依次衔接，每个阶段均可提升图像修复性能 大量实验表明文中网络性能较优关键词 图像修复，生成对抗网络，色彩生成模型，特征双向融合解码器
2、引用格式 邵新茹，叶海良，杨 冰，曹飞龙 基于三阶段生成网络的图像修复 模式识别与人工智能，（）：中图法分类号 ，o o o o o oo，o，o o o o o o o o oo，o oo，o oo o o oo oo o o o oo o o oo o o o oo ，o o o o o o，o o o o o o o o oo o o o o ，o，oo o o，o o o ，o oo ，（）：收稿日期：；录用日期：o，；，国家自然科学基金项目（o，）、浙江省自然科学基金项目（o）资助o o oo o（o，），oo o o（o）本文责任编委 黄 华o o o 中国计量大学 理学院 应用数
3、学系 杭州 图像修复是图像处理中的一个重要领域，旨在使用视觉上合理的内容填补图像中的受损区域，生成高质量的图像 目前，图像修复已成为计算机视觉领域的研究热点之一，并应用于目标移除、图像编辑、目标检测和老照片修复等诸多领域传统的图像修复方法分为基于扩散的方法和基于块的方法 基于扩散的方法旨在将图像受 o ，o o，o 第 卷 第 期模式识别与人工智能o o 年 月 oo 损区域边缘的像素信息渗透传播到受损区域 基于块的方法是将图像分为若干小块，根据小块之间相似度将最相关的小块填补到受损区域的相应位置然而，这些传统方法只是在图像水平上机械地运算，没有学习能力，无法捕获图像更深层的语义特征随着深度学
4、习技术的发展，学者们提出大量的基于深度学习的图像修复方法，并成为当前的主流方法 等将深度学习引入图像修复任务，提出上下文编码器，采用编码解码的网络结构对图像进行语义修复 随后，凭借卷积神经网络（ooo o，）强大的表示能力和生成对抗网络（o，）强大的生成能力，研究者在上下文编码器的基础上改进图像修复方法 等利用空洞卷积捕获远距离的上下文信息，用于填充受损区域，并提出全局一致和局部一致的判别器，保证生成的图像具有全局和局部的一致性 等使用三个不同大小的卷积核提取图像三个尺度的特征，保证特征提取的全面性 等提出（o o o），利用上下文注意力机制，通过相似度学习的方式恢复多个尺度的特征 等针对图像
5、修复任务的特点，改进原始卷积，提出部分卷积，确保提取像素点的有效性此外，两阶段网络架构也被用于图像修复任务 等设计两阶段修复网络，第一阶段先对受损图像进行粗修复，第二阶段对粗修复的图像进行精细化 进一步，等又引入门控卷积和 的鉴别器改进先前工作，获得更优性能然而，上述方法往往缺少先验的指导，导致生成的图像可能出现不合理的内容，如颜色偏差、边缘不明确和纹理模糊等为此，一些研究者引入不同的先验以指导图像修复 一方面，为了获取图像全局的色彩结构信息，等引入平滑图像作为先验，设计两阶段网络，第一阶段重建受损平滑图像，获得图像的全局色彩结构，以此作为先验指导第二阶段受损图像的修复 等也采用同样的先验和网
6、络架构在上述方法中，第一阶段获取色彩结构先验的过程都是建立在 色彩域 然而，色彩域对图像色彩的表征并不直观，很难使用精确的数值表示色彩强度，并且、三个颜色分量之间高度相关，任意一个分量出现偏差，会对图像色彩造成很大影响 因此，为了使获取的先验具有较直观的色彩强度表征，考虑在其它色彩域中进行色彩生成具有一定的研究意义另一方面，为了使图像获得合理的边缘特征，等提出边缘指导的两阶段网络框架，第一阶段先恢复受损的边缘，并将恢复好的边缘当作先验指导第二阶段图像的修复 等也提出（o o）这种类似方法然而，上述方法的边缘学习框架存在如下问题）第一阶段中直接使用网络修复受损边缘，效果通常不稳定，很难获得合理的
7、边缘，影响后续的图像修复过程）第二阶段中输入图像仍是受损的，仅依赖边缘指导对图像的受损区域进行填充往往是困难的 因此，设计一种更有效的边缘学习方法至关重要此外，图像纹理细节的合成质量往往也影响图像修复的性能 近来，一些研究者致力于设计不同的网络模块合成图像纹理细节，旨在生成更清晰和逼真的图像综上所述，尽管上述对色彩、边缘和纹理的生成方法取得较优性能，但其存在的问题仍需进一步改进 因此，本文设计基于三阶段生成网络的图像修复，每个阶段分别侧重于对图像的色彩、边缘及纹理的合成，最终构建兼具色彩、边缘与纹理于一体的图像修复框架 具体而言，第一阶段为 色彩生成阶段 将图像由 色彩域转至 色彩域，以平滑
8、图像为输入，设计色彩生成网络，通过引入损失约束重建图像的全局色彩，生成一个较合理的色彩先验 相比传统的 色彩域，本文的三阶段生成网络色彩生成的过程建立在 色彩域中 色彩域不仅能从色调、饱和度和亮度三方面直观表达色彩，而且对色彩的感知更敏感，这有利于进一步挖掘图像色彩信息 第二阶段是边缘优化阶段，重点对图像的边缘进行细化 构建边缘优化网络，以边缘损失为约束，实现对图像边缘的优化，再通过边缘提取算法获得边缘 该方式的优势在于其获取的边缘更准确，在边缘约束条件下通过修复受损图像并提取边缘，缓解已有方法直接使用网络进行边缘生成的不稳定问题，同时为后续的修复过程提供更全面完整的信息 第三阶段是纹理合成阶
9、段，该阶段旨在对图像的纹理进行细化 设计特征双向融合解码器，对图像的高级特征与低级特征进行自适应融合，实现对图像细节的增强 同时，引入 判别器，使生成图像的细节更逼真上述三个阶段顺次连接，每个阶段都将上一阶段的输出作为输入，合成的内容通过损失约束各有侧重，保证最终生成的图像具有较合理的色彩、清晰的边模式识别与人工智能（）第 卷缘及纹理细节三阶段生成网络 网络整体框架本文提出三阶段生成网络，整体框架如图 所示本文网络分为 色彩生成阶段、边缘优化阶段和纹理合成阶段，三个阶段依次衔接，旨在通过三个阶段的修复使生成图像具有合理的色彩、边缘和清晰的纹理 色彩生成阶段侧重于重建图像受损的全局色彩，从而得到
10、一个能代表图像全局色彩信息的先验 首先，构造平滑 图像（如图 所示），以此作为色彩生成的对象 构造方法如下：先将图像利用平滑结构算法计算平滑图像，再将平滑图像利用色彩转换算法由 色彩域转至 色彩域其中，平滑结构算法可去除难以捕获的高频信息，从而降低重建全局色彩结构的难度色彩生成阶段HSVRGB色彩域转至色彩域合并HSVC Min,色彩生成网络CoutLcgCmeIc边缘优化阶段EmeSmeLeoSout边缘提取算法合并边缘优化网络真或假判别器纹理合成网络I M Iin,cIfinalESMmeme,IoutLts合并纹理合成阶段图 本文网络整体框架图 o oo o（）原始图像（）（）平滑 图像
11、（）oo 图 原始图像及其对应的平滑 图像 oo oo 第 期 邵新茹等：基于三阶段生成网络的图像修复 与已有方法不同的是，本文色彩生成阶段通过色彩转换算法将色彩生成过程由 色彩域转至 色彩域，这主要取决于 色彩空间的如下优势：色彩空间可从色调、饱和度和亮度三方面对图像进行表征，比 色彩空间具有更直观的色彩描述，对色彩的感知更敏感，这对图像色彩信息的捕获是更有利的 真实图像 可按照上述构造方法计算平滑 图像，获得受损的平滑 图像：（），其中，表示二值掩码，表示受损区域，表示未受损区域，表示逐元素相乘其次，将 输入色彩生成网络（oo o o，）进行色彩重建，可深度挖掘受损的平滑 图像的色彩信息，
12、并对其进行合理修复，从而生成可信的色彩 生成的平滑 图像为：o（），其中，表示按通道维度拼接，（）表示色彩生成网络 随后，将 o中生成的像素与 中已知的像素合并，输出图像 o （），其中 表示逐元素相加最后，平滑 图像 由 色彩域转回 色彩域，从而得到 c 如图 所示，c具有图像全局的色彩结构信息，这将被当作先验指导后续修复过程边缘优化阶段重点在于优化图像边缘，并输出合理边缘 等先使用网络修复受损边缘，再以此为先验指导修复受损图像 与文献 不同，本文边缘优化阶段是在色彩先验的指导下先对图像而非边缘进行修复，并在边缘损失函数的约束下优化图像中的边缘信息，进而提取边缘 在此阶段，既能得到更合理的边
13、缘，又能获取具有合理边缘信息的图像，相比文献 的工作，这种方式能为后续的修复过程提供更准确完整的信息具体地，将 c当作色彩先验连同受损图像 一起输入边缘优化网络（o o，），损毁图像：（）可在边缘损失的约束下调整图像的边缘结构 生成图像o（c），其中（）表示边缘优化网络 随后，合并 o中生成的内容与 中已知的内容，得到输出图像：o （）因为色彩先验和边缘约束的介入，此图像具有合理的色彩和边缘随后，通过 边缘提取算法提取 的边缘 和 紧接着传入下一阶段纹理合成阶段重点增强图像的纹理细节，生成更精细的图像内容 具体地，边缘 连同图像 一同输入纹理合成网络（o，），用于细化图像的纹理，生成精细的图像
14、：o（），其中（）表示纹理合成网络在这一阶段，边缘 的加入可有效指导图像纹理细节的合成 最后，合并 o中生成的内容与 中已知的内容，得到最终输出图像：o （）上述三个阶段合成的内容各有侧重点，采用串联网络结构的目的是在保留上一阶段特性的同时，还可在下一阶段合成新的特性，保证最终生成的图像同时具有较合理的色彩、边缘及清晰的纹理此外，判别器的引入通常可使生成图像的细节更逼真清晰 如图 所示，在网络末尾，添加判别器，对生成器生成图像的质量进行评判打分 由于中的判别器被广泛应用于图像修复任务，并获得较优性能，本文沿用这种判别器 生成器和判别器在相互对抗的过程中使生成器的生成能力和判别器的评判能力均得到
15、提升，这也符合生成对抗网络的结构 色彩生成网络色彩生成网络（）框架如图 所示，以受损平滑图像为输入，可在色彩空间中挖掘图像色彩分布的同时，对受损区域进行合理填充 包含编码器、瓶颈层和解码器三部分 编码器包含 层卷积层，用于将受损图像映射到高级特征空间 瓶颈层由个多感受野残差聚合模块和个通道空间关注模块组成，可恢复高级特征 解码器包含 层卷积层，用于将恢复好的高级特征映射到图像水平多感受野残差聚合模块结合空洞卷积和的优势，具有强大的特征聚合功能 此模块以受损特征为输入，可搜集特征中多个感受野的上下文信息，并将这些信息聚合到受损区域，从而实现特征恢复首先，一层卷积层将输入特征 的通道数压缩为原来的
16、，得到压缩特征 传入 层串联的空洞卷积层中，每层空洞卷积都会搜集到具有不同模式识别与人工智能（）第 卷编码器多感受野残差聚合模块卷积层3+4+通道-空间关注模块卷积层3+C Min,Cout多感受野残差聚合模块按通道维度拼接输入卷积空洞卷积 4+卷积输出通道-空间关注模块按空间维度平均池化输入卷积Sigmoid按通道维度平均池化Sigmoid卷积输出瓶颈层解码器图 色彩生成网络框架图 o o oo o o感受野的特征，这些搜集的信息会作为填补受损区域的原材料 这一过程表示为（），（）其中，（）表示卷积核大小为、空洞率为 的空洞卷积层，（）表示修正线性单元 这一步既扩大网络的感受野，又完成上下文信息的多样化收集通过式（），可得到 个具有不同感受野的特征，即 这些特征按通道维度拼接，并通过一层卷积层整合成一个综合的上下文特征 c 这时，c与输入特征的维度相同，使用一个残差连接使两者相加，得到多感受野残差聚合模块的输出：c堆叠多个多感受野残差聚合模块，上下文信息能反复聚合到受损区域，有利于填补具有较大受损区域的图像通道空间关注模块可对多感受野残差聚合模块搜集的上下文信息在通道维度和空间维度分