1、ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 42 卷 第 2 期Vol42 No22023 年 2 月Feb 2023DOI:10 19927/j cnki syyt 2023 02 002基于高光谱影像和 LiDA 点云的城市地物分类实验方案设计王斌，宋冬梅，戴嵩，王海起(中国石油大学(华东)海洋与空间信息学院，山东 青岛 266580)摘要:为更好地进行数据融合实现地物分类，设计了一种基于卷积神经网络(CNN)的高光谱与激光雷达数据融合分类实验方案。首先通过构建 CNN 模型实现高光谱及激光雷达数据的特征提取;然
2、后分别在特征级和决策级上实现两种数据的融合，其中特征级融合采取求和与最大化策略，决策级融合采取加权融合策略;最后在休斯顿与特伦托数据集上使用标准训练集与测试集验证该模型的有效性。结果表明，相较于 SVM 和 ELM 两种对比方案，此方案总体分类精度分别提升了 10.18%和 8.75%。证实了新方案能够实现更高精度的城市地物分类。关键词:地物分类;高光谱图像;激光雷达;卷积神经网络;特征融合中图分类号:TP 751文献标志码:A文章编号:1006 7167(2023)02 0005 06A Novel Experimental Scheme for Urban Ground Object Cl
3、assificationBased on Hyperspectral Image and LiDA Point Cloud DataWANG Bin，SONG Dongmei，DAI Song，WANG Haiqi(College of Oceanography and Space Informatics，China University of Petroleum(East China)，Qingdao 266580，Shandong，China)Abstract:With the purpose of better completing ground object classificatio
4、n，a novel classification scheme has beenproposed based on convolutional neural network(CNN)with a fusion of hyperspectral and LiDA data Firstly，featureextraction of hyperspectral and LiDA data is achieved by constructed CNN model Then，the fusion of the two kinds ofdata is implemented at the feature
5、level and the decision level，respectively The summation and maximization strategyare adopted in the feature level fusion，and the weighted fusion strategy is used for decision-level fusion Finally，thevalidity of the model is verified by the experiment on the standard training set and test set on Hous
6、ton and Trento dataThe results show that compared with SVM and ELM，the overall classification accuracy of this scheme is improved by10.18%and 8.75%，respectively，It is confirmed that the new scheme can obtain higher precision urban featureclassificationKey words:ground object classification;hyperspec
7、tral image;lidar;convolutional neural network(CNN);feature fusion收稿日期:2022-06-12基金项目:国家自然科学基金-联合基金项目-重 点 支持项目(U1906217);山东省重点研发计划项目(2019GGX101033);山东省教学改革面上项目(M2021155);中国石油大学(华东)青年教师教学改革项目(QN201801)，研究性教学方法改革项目(YK201802)，专业建设与改革类项目(ZY202025)作者简介:王斌(1986 )，男，山东沂水人，讲师，主要从事环境遥感监测研究。Tel:0532-86980518;E
8、-mail:wangbin007 upc edu cn0引言高精度的城市地物分类能够为智慧城市建设、城市规划与环境整治提供重要的科学依据。利用遥感数据能够准确、快速地获取土地覆盖信息。近年来，随着遥感平台和传感器的不断进步，遥感数据朝着多元化第 42 卷的方向发展。现今，先进的遥感技术能够获取地球表面物体的不同特征，如高光谱传感器可以测量物体的光谱特征，而激光雷达传感器可以获得地物的三维信息。高光谱图像由于具有区分地物细微光谱差异的优势，在森林砍伐监测、土地覆盖制图和矿产勘探等领域取得了较好的应用效果。然而“同谱异物”现象常常导致高光谱图像中地物被错分。例如在城市地物分类中，由于物质组成成分相
9、似，建筑物的屋顶与道路的“同谱异物”现象明显，常导致二者难以区分;再如草地与园地由于光谱特征相似亦容易混淆。而激光雷达数据能够提供地物的高度和形状等高程信息，因此对于上述这种光谱特征相似，但高程信息不同的地物能进行很好地区分，从而能够很大程度上解决高光谱图像中“同谱异物”现象所造成的误分类问题。因此，高光谱与激光雷达两种遥感手段的结合有助于融合多种有效信息，进一步提高城市地物的分类精度。多源异构的遥感数据融合技术通常分为像素级融合、特征级融合和决策级融合。而目前高光谱影像和激光雷达数据的融合策略研究多集中于特征级和决策级。在遥感领域，各种机器学习方法已被证实对融合分类任务有效。其中，具有非线性
10、核函数的支持向量机(Support Vector Machine，SVM)1 能够较好地解决小样本数据的融合分类任务。例如 asti 等2 用消光剖面法(Extinction Profiles，EPs)提取高光谱与激光雷达数据中的空谱和高程信息，并将获得的特征通过SVM 生成最终的分类图。此外，近些年来发展的极限学习机(Extreme Learning Machine，ELM)3 是一种基于前馈神经网络(Feedforward Neuron Network，FNN)的机器学习算法，能够在提高分类精度的同时降低计算复杂度。例如 Ghamisi 等4 用 EPs 提取了高光谱与激光点云数据的特征，
11、然后使用了一种基于 ELM 的核极限学习机(Kernel Extreme Learning Machine，KELM)方法来融合两种数据的特征信息。由于在高光谱与激光雷达的特征级数据融合过程中，特征的简单连接或堆叠可能包含了冗余信息，而特征数量的显著增加又可能会导致休斯效应。为了解决这些问题，需要对两种数据再进行决策级融合。例如 Liao 等5 基于图的特征融合方法将光谱、空间和高程信息投影到较低的子空间上得到融合特征，然后将融合特征与单一的高光谱特征与激光雷达特征分别输入到 3 个 SVM 中进行分类，并通过投票得到决策级融合之后的分类结果。Wu 等6 首先通过多分类器系统对数据进行分类，然
12、后采用基于对数选项池的决策融合方法对分类结果进行融合。上述特征级融合和决策级融合方法的主要区别在于融合过程发生的阶段不同。尽管特征级融合和决策级融合方法都能够实现对特征的有效提取，但是均需要花费大量时间和专业领域知识来设计合适的特征提取和特征选择方法。与人工提取特征相比，深度学习能够以端到端的方式从数据本身学习到高级语义特征7-8。在各种深度学习模型中，卷积神经网络(Convolutional Neural Networks，CNN)由于具有参数共享和局部感知的优点引起了越来越多的关注，并被成功地 应 用 到 数 据 融 合 图 像 分 类 任 务 中9。如Morchhale 等10 将激光雷
13、达数据作为高光谱数据的一种光谱带，输入到 CNN 中进行特征学习和分类。Ghamisi P 等11 将传统的特征提取方法与 CNN 相结合，首先使用 EPs 从两种数据中提取光谱和高程信息，然后将特征输入到 CNN 中获得分类结果。Li 等12 首先使用 EPs 提取光谱、空间和高程特征，再用 CNN 分别提取它们的高级特征，然后使用一种多传感器复合内核(Multi-sensor Composite Kernels，MCKs)方法实现融合分类。然而，目前基于 CNN 网络的高光谱和激光雷达数据的特征级与决策级融合通常是将所提取的所有特征简单地堆叠并通过一个全连接层来实现，这样会使得全连接层包含
14、大量参数。当训练样本数量较少时，过大的全连接层的参数会增加训练难度，因而不能很好地发挥出特征级和决策级融合的优势。为此，为实现城市地物的高精度分类，本文设计了一种基于 CNN 的高光谱和激光雷达数据融合分类实验方案。新方案包括特征级融合和决策级融合两个部分。首先构建 CNN 网络来从高光谱及激光雷达数据中提取特征;然后分别在特征级和决策级上实现两种数据的融合。与其他融合方案不同的是本方案在特征级融合时，采用求和与最大化融合方法，而在决策级融合时，通过加权求和的方法将特征组合在一起，其权重由每个输出层在训练数据上的分类精度决定;最后在两个标准数据集上测试所提出模型的有效性。1方案设计1.1两种数
15、据的特征提取实验所设计的模型方法如图 1 所示，主要由两个网络组成，其中一个网络用于光谱特征学习;另一个网络用于高程特征学习。每一个网络都包括一个输入模块、一个特征学习模块和一个融合模块。输入模块是为了对高光谱和激光雷达数据进行预处理。对于高光谱数据，首先利用主成分分析(Principal ComponentsAnalysis，PCA)方法13 以减少原始高光谱数据的冗余信息，然后按照给定的像素提取一个小立方体作为输入数据，而对于激光雷达数据，直接提取同一空间位置的图像块作为输入数据。在特征学习模块中，使用CNN 进行特征提取，详细网络结构如图 2 所示。融合模块包括特征级融合和决策级融合两个
16、部分。在特征6第 2 期王斌，等:基于高光谱影像和 LiDA 点云的城市地物分类实验方案设计级融合时，采用求和与最大化融合方法;而在决策级融合时，通过加权求和的方法将特征组合在一起。图 1融合网络模型组成图 2融合网络特征提取结构示意图给定一张高光谱图像 Xhm n b和相应的激光雷达图像 Xlm n覆盖地球表面的相同区域。其中，m 和 n 分别表示两个图像的高度和宽度，b 是指高光谱图像的光谱波段数。通过充分融合来自 Xh和 Xl的特征以提高分类性能。首先，PCA 用于提取 Xh的主要信息组成部分，即前 k 个波段以减少冗余的光谱信息。然后，分别选择 Xh和 Xl的一个小立方体 xhp p k和一个图像块 xlp p。空间邻域大小 p 可以根据经验设置为 1114-15。Xh和 Xl的特征通过 CNN模型提取。CNN 的网络结构包括卷积、激活、最大池化和批量归一化。xh和 xl被输入卷积层来学习特征，卷积核大小为 3 3，卷积层均采用 Leaky-eLU 作为激活函数，批量的数据进行归一化允许更高的学习率来加速收敛。在卷积层和最大池化层之后，输出高光谱和激光雷达数据的特征。1.2两种
