1、 ：基于轻量级光谱空间注意力交互网络的高光谱地物分类研究周予，程二丽，张娅莉，刘宇红（信阳职业技术学院 数学与信息工程学院，河南 信阳，；贵州大学 大数据与信息工程学院，贵州 贵阳 ）摘要：通过引入基 于 卷 积 神 经 网 络（，）的 分 类 算 法，高 光 谱 图 像（，）分类任务的精度取得显著的提升，但目前主流 算法往 往 较 为 复 杂且参数量大，从而导致网络难以 训 练 以 及 容 易 产 生 过 拟 合 问 题。为 在 保 证 网 络 分 类 性 能 的 前 提下实现轻量化，本文提出一个轻量级架构的基于光谱空间注意力交互机制 的 网 络 用 于 分类。为实现 的光谱空间特征提取，构
2、建了一个 轻 量 化 的 双 路 径 骨 干 网 络 用 于 两 种 特 征 的提取和融合。其次，为提高特征的表征能力，设计了 两 个 注 意 力 模 块 分 别 用 于 光 谱 和 空 间 特 征 的权重再调整。同时，为加强双路径特征之间的关联 以 实 现 特 征 的 更 好 融 合，注 意 力 交 互 机 制 被 引入到网络中以进一步提升网络 性 能。在个 真 实 数 据 集 上 的 分 类 结 果 表 明，本 文 所 提 网 络可达到 的分类准确度，并相比于其他网络至少减少 的参数量。关键词：地物分类；轻量化 架构；注意力交互机制；光谱空间特征提取中图分类号：文献标识码：文章编号：（），
3、（，；，）：（），（），光 电 子 激 光第 卷 第期 年月 ：收稿日期：修订日期：基金项目：教育部科技发展中心产学研创新基金 新一代信息技术创新项目（）和贵州省科学技术基金资助项目（黔科合基础 重点 ）资助项目 ：；引言近 年 来，高 光 谱 图 像（，）作为拥有高空间分辨率和丰富光谱带信息的光学遥感图像，已被广泛应用于各种遥感任务中，其中包括矿产探测、灾害检测以及地物分类，分类已经成为遥感领域最活跃的研究方向之一。为达到高精度的分类性能，对 的光谱、空间信息的充分提取及利用则是提升精度的关键。到目前为止，用于分类的算法主要可以分为：传统和深度学习方法。在 早 期的 传统方法 中，研究者们通
4、常通过直接分析 丰富的光谱信息以实现分类，如支持向量机（，）、扩 展 形 态 轮 廓（，）以 及最 近 邻 算 法（，）等。然 而，这 些 早 期 方 法 仅 仅关注于纯光谱信息的利用，而后续研究表明，空间上下文信息也是提升网络分类性能的关键。在后期，许多基于光谱空间信息的传统方法被提出用于分类，并显著提升了分类精度。其中，多核学习（，）被 提 出 并 广 泛用于光谱和空间域信息的提取利用，取 得 了显 著的效果。虽然传统方法取 得了 优 良的分类效 果，但它过多依赖于研究者人工设计的特征，从而 造成了性能的局限性。基于深度学习的卷积神经网络（，）由 于 具 有 自 动 提 取 图 像 特征和
5、参 数 自 我 更 新 等 优 点，已 经 被 成 功 引 入 到 分类和其 他计 算 机视 觉领 域。在 早 期，研 究者们同样着重于光谱信 息的 提 取利用。例如，在 年，等通过 利 用卷 积 来 构 建 一 个具有层卷积的 以实现光谱信息的直 接提取。年，等进 一 步 将 输 入 扩 展 为 像 素对，并在最终分类阶段采用 投票 方式来实现网络性能的提升。通过利用卷积来直接分析光谱信息可以取得较好的分类精度，为进一步提 升网络性能，和 卷 积 也 被 引 入 到 分 类领域以实现空间信息的联合利用。目前，基于光谱空间综合特征的分类算法已成为主流，这类算法通过实现光谱和 空 间 信息 的综
6、合 提 取 利 用，极 大 地 提 升 网 络 的 分 类 性 能。年，等利 用 卷 积 构 建 了 一 个单路径 用于光谱空间特征的自动提取。为进一步提 升特 征的 表 达 能 力，同 年，等 通过将卷积与多尺度手段结合，构建了一个多尺 度特征提取网络用于不同感受野特征的提取。年，等 在文献 的基础上引入密集连接以实 现 特 征 重 用，从 而 加 速 了 网 络 训 练 过 程。为减少网络参数量，在 年，等 使用和卷积构建了一个双路径 以实现光谱和空间特征的提取和融合，该网络在保证一定精度的同时显著降低 了网络参数量。综上，利用和卷积可以以较少的参数量实现光谱和空间特征的提取，而 卷积的引
7、入则 是使得光谱空间特征的提取更为容易，但 往往伴随着大 量 的 网 络 参 数。基 于 光 谱空 间 特 征 的 分类网络可以取得令人满意的分类结果，但 不同的空间区域和光谱带往往具有不同程度的重要性，因 此，注 意 力 机 制 被 进 一 步 引 入 到 分 类 领域中。通过将注意力机制引入到 中，网络可以实现重要特征的再强调与冗余特征的弱化，从而提升所提取特征的表征性。在 分类领域中，许多的注意力模块被提出用于加强光谱和空间特征。年，等 构 建 了 基 于 注 意 力 机 制的特征再校准模块用于光谱空间特征的再调整，并通过 反 复 校 准 特 征 从 而 提 升 网 络 分 类 精 度。
8、年，等 提出基于两阶段注意力的 分类网络，在网络中先后使用光谱和空间注意力模块以提取具有高信息量的特征，从而进一步加强网络性能。为实现 光谱空间信息的充分利用，本文构建了一个轻量级的双路径骨干网络用于特征提取。其次，为强化所提取的特征，光谱和空间注意力模块被 设 计 用 于 高 信 息 量 特 征 的 再 强 调。同时，注意力交互机制被引入到双路径架 构中加强路 径 间 交 互，从 而 实 现 光 谱 和 空 间 特 征 的 更 好结合。方法本小节将详细介绍所提轻量级光谱空间注意力交互网络的架构、空间和光谱注意力模块以及注意力交互机制。轻量级光谱空间注意力交互网络图给出本文所提轻量级分类网络的
9、总体框架，该网络主要可分为个阶段：）光谱降维；）特征处理；）融合和分类。在第一个阶段，使用主成分分析（，）将数据集的光谱带维数降至，在保证保留 以上信息的同时降低数据冗余度。第二个阶段中，一个双路光 电 子 激 光 年第 卷径特征提取模块被构建以实现光谱和空间特征的提取、权重加权和交互。在最后一个阶段，对双路径提取的光谱和空间特征进行融合以得到综合特征，并且使用分类器得到最终分类图。图中，（，）代表卷积核的尺寸为（），其数量为；代表 卷积层，为激活函数。如 图所示，本文使用萨利纳斯山谷（图轻量级光谱空间注意力交互网络框架图 ，）数据集作为输入以说明网络流程。在第一阶段，本文使用 对输入数据集进
10、行光谱降维，通过 手段可在保留 数据集 信息的情况下大幅度降低光谱维数。本文将光谱维数降至，然后将以待分类像素为中心的 像素块从数据集中分割出来送入后续网络以实现特征的提取。第二阶段中，两个带注意力交互的双路径块被构建以实现 光谱、空间深层次抽象特征的提取。该双路径模块主要由部分组成：）光谱、空间特征提取，待分类 像素块被分别送入到并行光谱、空间通道中以实现光谱和空间特征的同时提取。在这两个支路中，卷积核尺寸为（，）和（，）的小尺寸卷积层被使用以实现空间、光谱特征的轻量级提取。相比较于直接使用卷积层来提取光谱空间综合特征，使用小尺寸卷积分别提取特征大大降低了网络参数量。值得注意的是，在卷积层中
11、 填充方式被使用以保证输入和输出特征图尺 寸 保持不 变。同 时，本 文 使 用 批 归 一 化 层（）对提取的特征进行正则化以加速网络训练过程。）特征加权，为实现重要特征的再强调，本文在双路径中引入空间、光谱注意力块以增强卷积层所提取光谱、空间特征的表征性。）权重交互，为实现对注意力机制的充分利用，本文将从双路径中分别提取得到的光谱和空间权值进行支路共享，从而使得两条支路所提取的特征都能从光谱和空间域得到特征再强化。通过堆叠双路径模块两次，即可实现深层次抽象特征的提取。在最后阶段，本文使用逐像素加法实现对双路径提取的光谱、空间特征的融合得到最终的光谱空间综合特征。随后，综合特征被依次送入到最
12、大池化层（）、平坦层（）和 分类器以得到最终分类结果。其中，分类器可以表示为：，（）式中，代表需分类数，代表输入样本数组值，代表样本的输出向量，其中向量最大值对应的分类标签将作为样本的最终标签。第期周予等：基于轻量级光谱空间注意力交互网络的高光谱地物分类研究 光谱、空间注意力模块在图中，带注意力交互的双路径块被构建以实现光谱、空间特征的提取和注意力加权。在该模块的两条分支中，光谱和空间注意力块被使用以实现对应域的特征强化，从而提升特征的表征能力。在这两个注意力模块中，本文通过充分利用卷积在网络反向传播中的参数自动更新机制，从而实现对所提取特征的自适应加权。图给出光谱、空间注意力块的详细结构。在
13、空间特征提取支路，空间注意力块被构建以实现空间域的特征增强，如图（）所示。在该模块中，尺寸为的输入特征被送入到尺寸为的平均池化层（，）进行尺寸转换。通过将特征图尺寸转换为，从而去除光谱信息对空间权重获取的影响。然后，卷积核尺寸为的卷积被采用以逐像素获取其权重，从而得到最终尺寸为的空间权重向量。最后，通过乘法运算将原始输入特征图和权重相乘得到最终的空间加权特征图。在光谱特征提取支路中，类似的光谱注意力块被构建以实现光谱域的特征增强，如图（）所示。在该模块中，使用尺寸为的 以去除空间信息对光谱权重获取的影响。然后，同样使用卷积核尺寸为的卷积去实现各光谱带的权重提取。最后，通过乘法与原始输入特征图加
14、权得到光谱加权特征图。空间和光谱注意力模块均可以描述为式（）：（），（）式中，和代表输入、输出特征图，代表使用卷积核尺寸为的卷积层，代表平均池化层。图注意力块结构图：（）空间注意力块；（）光谱注意力块 ：（）；（）注意力交互机制在图中，为加强光谱和空间路径之间的交互以实现更好的特征融合，注意力交互机制被引入到特征提取。通过该机制，一方面可实现注意力块的充分利用，使得各路径提取特征均实现光谱和空间的特征加强；另一方面，通过将当前分支所提取的权值分享到另一分支，可使得两支路在反向传播时参数相互约束，从而增加光谱和空间特征之间的交互。注意力交互机制由图给出。在图中，首先本文利用空间和光谱注意力块从纯
15、空间、光谱特征中获取对应权重值。其次，通过将每条支路所获取的权重共享到其他支路，从而实现权值的充分利用。最后，通过乘法运算将输入特征与当前支路获取权值和其他支路共享权值作加权，使得每条支路的特征都能实现光谱、空间特征增强。注意力交互机制可以描述为式（）：（）（），（）（）（），（）式中，和 代表特征图和注意力块，下标 、代表空间和光谱域，、代表输入和输出。光 电 子 激 光 年第 卷图注意力交互机制 分析与讨论本节将详细给出实验数据集的相关信息、实验的软件和硬件配置以及对应分类结果和讨论。实验数据集为验证网络有效性，使用种真实的 数据集作为测试对象，分别为印第 安纳松 树 林（，）、帕维尔大学
16、（，）以及。各数据集介绍如下：由红外光谱仪捕获，其中包含 类自然植被覆盖类型，空间分辨率为 ，去除无用波段，有效波段数为 。：由光学光谱仪捕获，其中包含类城市地物覆盖类型，空间分辨率为 ，有效波段数为 。：由 传感器捕获，其中包含 类作物覆盖类型，空间分辨率为 ，有效波段数为 个。表给出各数据集中各类别的详细信息。表 种数据集的相关信息 本文网络采用基于 深度学习的框架，代码使用 语言进行开发；实验硬件配置为：处理器，科学计算显卡。对于 数据集，本文将 的样本用于训练，的样本用于测试。针对 和 数据集，其比例划分为 和。网络的超参数配置为：输入空间尺寸为 ，光谱维度降至；学习率设置为 ，批次大小为。为衡量实验结果，本文采用种精度指标对分类结果进行量化：整体精确度（，）、平均精确度（，）和卡帕系数（，）。分类结果为验证网络的有效性，本文将所提网络与其他种主 流 网 络 进 行 对 比，分 别 为：、以 及 。图给出各网络分类图，表给出其对应精确度指标和各网络的参数量。为保证结果可靠，每个网络都进行次重复实验，精度指标以“平均值方差”形式给出。从表可以看出，对比于其他 分类网络，本文所提网
