1、基于光谱注意力图卷积网络的高光谱图像分类孔 毅 纪定哲 程玉虎 王雪松*(中国矿业大学信息与控制工程学院 徐州 221116)摘 要：近年来，图卷积网络因其特征聚合的机制，能够同时对单个节点以及近邻节点的特征进行表示，被广泛应用于高光谱图像的分类任务。然而，高光谱图像(HSI)中常存在波段冗余、同物异谱等问题，使得直接利用原始光谱特征构建的初始图可靠性不足，从而导致高光谱图像的分类精度低。为此，该文提出一种基于光谱注意力图卷积网络(SAGCN)的高光谱图像半监督分类方法。首先，利用注意力模块对光谱的局部与全局信息进行交互，以增加重要光谱的权重、减小冗余波段以及噪声波段的权重，从而实现光谱的自适
2、应加权；然后，针对光谱加权处理后的高光谱图像，通过空间-光谱相似性度量构建更为准确的近邻矩阵；最后，通过图卷积对标记和无标记样本进行有效的特征聚合，并使用标记样本的聚合特征训练网络。在Indian Pines,Kennedy Space Center和Bot-swana 3个真实高光谱图像数据集上的实验结果验证了所提方法的有效性。关键词：高光谱图像分类；半监督分类；图卷积网络；光谱注意力中图分类号：TN911.73;TP18文献标识码：A文章编号：1009-5896(2023)04-1426-09DOI:10.11999/JEIT220204HyperSpectral Image Classi
3、fication Based on Spectral AttentionGraph Convolutional NetworkKONG Yi JI Dingzhe CHENG Yuhu WANG Xuesong(School of Information and Control Engineering,China University of Mining and Technology,Xuzhou 221116,China)Abstract:In recent years,graph convolutional network has been widely used in hyperspec
4、tral imageclassification because of its feature aggregation mechanism,which can simultaneously represent the features of asingle node and neighboring nodes.However,there are many problems in HyperSpectral Images(HSI),such asband redundancy and different spectrum of the same object,which results in t
5、he inadequate reliability of theinitial graph constructed by directly using the original spectral features,thus leading to the low classificationaccuracy of hyperspectral images.Therefore,a semi-supervised classification method for hyperspectral imagesbased on Spectral Attention Graph Convolutional
6、Network(SAGCN)is proposed.Firstly,the attention moduleis used to interact with the local and global information of the spectrum,and realize the adaptive weighting ofthe spectrum.Then,for the hyperspectral images after spectral weighting,a more accurate nearest neighbormatrix is constructed by using
7、spatial-spectral similarity.Finally,effective feature aggregation of labeled andunlabeled samples is carried out by graph convolution,and the network is trained with the features of labeledsamples.Experimental results on three real hyperspectral image datasets including Indian Pines,KennedySpace Cen
8、ter and Botswana demonstrate the effectiveness of the proposed method.Key words:HyperSpectral Image(HSI)classification;Semi-supervised classification;Graph convolution;Spectralattention 收稿日期：2022-03-01；改回日期：2022-07-31；网络出版：2022-08-05*通信作者：王雪松基金项目：国家自然科学基金(62006232,61976215,62176259)，江苏省自然科学基金(BK2020
9、063)Foundation Items:The National Natural Science Foundation of China(62006232,61976215,62176259),The Natural Science Foundationof Jiangsu Province(BK20200632)第45卷第4期电 子 与 信 息 学 报Vol.45No.42023年4月Journal of Electronics&Information TechnologyApr.2023 1 引言高光谱图像(HyperSpectral Image,HSI)每个像素都包含数十至上百个密集且
10、近似连续的光谱波段1，能够将空间成像技术与光谱测量技术有机结合，不仅提供了丰富的光谱特征，而且包含了地物形状、位置关系等空间信息，借助HSI能够更准确区分场景中不同类别的地物2。HSI分类旨在依据像素的光谱和空间特征为每个像素赋予类别标签。常用的分类方法包括支持向量机(Support VectorMachine,SVM)3、稀疏表示分类(Sparse RepresentClassification,SRC)4等。然而，鉴于HSI的非线性可分特性，传统分类算法往往难以对HSI复杂的光谱和空间特征进行充分表征，存在欠拟合问题。为此，众多深度学习(Deep Learning,DL)方法被应用到HSI
11、分类任务中。DL一般由多个简单非线性单元构成，常见DL模型包括栈式自动编码器(Stacked Auto-Encoder,SAE)5、深度置信网络(Deep Belief Network,DBN)6、卷积神经网络(Convolutional Neural Network,CNN)7等。早期基于DL的HSI分类方法多为监督型，如Chen等人8先后尝试利用SAE与DBN提取HSI的层次、空-谱特征，该工作首先利用主成分分析(Principal Component Analysis,PCA)对原始HSI进行波段维的降维操作；然后，利用空间近邻表示对每个像素的空间特性和光谱特性进行表征，并将向量化后的数
12、据作为SAE或DBN的输入；最后，通过反向传播与梯度下降算法实现对网络的训练。倪鼎等人9利用地物在空间中的平滑特性，获取近邻判别信息来对中心像素进行类别判定。Li等人10提出一种基于像素对的CNN，通过对可用标记数据中任意两个样本进行配对来构建新的数据组合。利用该方法可构建大量的标记像素对，从而保证了深度网络的充分训练。Li等人11提出的多级融合密集网络(Multi-layer Fusion Dense Network,MFDN)通过对输入样本进行多尺度的特征提取，获取丰富的光谱和空间相关信息。此外，MFDN采用紧密连接多层融合策略对空间特征和光谱特征进行融合，以提取更具鉴别性的光谱空间特征。
13、Li等人7在CNN中引入了注意力机制和残差模块，以并行获取局部信息和全局信息，从而自适应学习融合权值。众所周知，监督型DL具有“数据饥渴”属性，需要大量的标记像素来支撑网络参数的训练，否则会出现严重的过拟合现象。然而，HSI像素的标记工作往往需要依赖领域专家知识，耗时且费力。相对于标记的HSI，无标记HSI的获取更加容易。为此，众多基于半监督DL的方法相继被提出。相比于监督型DL，半监督型DL能够同时利用标记和无标记的像素，学习更加准确的类别预测模型。近年来，图卷积网络(Graph Convolutional Network,GCN)12因其能够同时借助局部图结构和节点特征实现有效的信息聚合，
14、而被广泛应用于HSI的半监督分类任务。在GCN的基础上，Qin等人13通过结合光谱信息和局部空间近邻信息，提出了光谱-空间GCN(Spectral-Spatial GCN,SSGCN)。Ding等人14提出的全局一致GCN(Global ConsistentGCN,GCGCN)，从拓扑连通性的角度构建全局一致图，并将初始图作为待优化的变量，从而获得一个自适应的、可靠的图结构。然后，通过探索自适应全局高阶邻域来捕获潜在的空间信息。最后，将自适应全局高阶图结构与双层网络相结合，实现了对同类样本的全局特征平滑，并保持了较高的全局特征一致性。Wang等人15利用GCN从原始的HSI中提取非线性特征，再
15、通过宽度网络对所提取的特征进行宽度扩展，进一步增强特征表示能力。Sha等人16引入图注意力层，自动计算相邻节点之间的相似性，并将生成的特定权值作为节点间距离。然而，大多数基于GCN的HSI分类方法忽略了如下两个问题：(1)不同光谱波段对分类任务的贡献不均等。如在一些感测光谱范围内存在噪声带和吸水带，这些波段会使得近邻图不能准确对像素间的近邻关系进行表征；(2)强初始近邻图依赖性。静态的初始图在构造完成之后，被用于整个GCN的训练过程。当初始图中存在噪声近邻点，会使得GCN在特征聚合中出现异类顶点的特征趋于一致，从而导致无效的特征聚合17。为解决以上两个问题，本文提出一种基于光谱注意力图卷积网络
16、(Spectral Attention Graph Con-volutional Network,SAGCN)的HSI分类方法，主要贡献包括：(1)构建结合局部信息和全局信息的光谱注意力模块，以综合考虑每一个光谱在近邻光谱中的冗余度及对分类任务的贡献，从而增强光谱注意力模块的表达能力；(2)将构造的光谱注意力模块引入GCN中，以对HSI的每一维光谱自适应加权。通过度量加权更新后的光谱特征，得到对HSI像素间近邻关系表达更为准确的近邻图。2 光谱注意力图卷积网络tti(i=1,2,.,C)所提SAGCN方法如图1所示，主要包括4个步骤。(1)利用PCA对原始HSI进行降维处理；(2)将降维后的HSI输入光谱注意力模块，利用光谱通道信息之间的交互来提取注意力特征，得到自适应的光谱权重向量，向量中的每个元素第4期孔 毅等：基于光谱注意力图卷积网络的高光谱图像分类1427Ct代表相应光谱的重要程度。其中，代表经过降维后的光谱维数；(3)使用光谱权重 来对HSI每维光谱进行更新，通过距离度量得到节点间更新后的光谱距离，再结合空间信息来构建GCN的近邻矩阵；(4)在GCN训练过程中动态更新光谱通道