1、书书书雷达系统与技术DOI:1016592/jcnki10047859202212016基于端到端网络机制跨域稀疏 SA 与光学图像精准匹配方法黄柏圣(南京信息工程大学 电子与信息工程学院，南京 210044)摘要:由于合成孔径雷达(SA)和光学图像两种模态之间存在显著的几何和辐射差异，传统方法难以实现 SA 与光学图像的精准匹配。文中提出了一种基于端到端网络机制的跨域稀疏 SA 与光学图像精准匹配方法。该方法首先预测每幅图像中最适合匹配的区域，然后通过多尺度特征空间互相关运算生成匹配热图，最后将匹配热图分为正匹配和负匹配来消除异常值，实现 SA 与光学图像匹配的精确匹配。实验结果表明，所提方
2、法性能指标优于已往 SA 与光学图像匹配方法，可用于大规模场景的精确匹配，利于提升光学卫星图像的地理定位精度。关键词:图像配准;特征检测;深度学习;合成孔径雷达;光学图像中图分类号:TN957文献标志码:A文章编号:10047859(2022)120010606引用格式:黄柏圣 基于端到端网络机制跨域稀疏 SA 与光学图像精准匹配方法 J 现代雷达，2022，44(12):106111HUANG Baisheng Accurate matching method of cross-domain sparse SA and optical image based on end-to-end de
3、eplearning framework J Modern adar，2022，44(12):106111Accurate Matching Method of Cross-domain Sparse SA andOptical Image Based on End-to-end Deep Learning FrameworkHUANG Baisheng(School of Electronics and Information Engineering，Nanjing University of Information Science and Technology，Nanjing 210044
4、，China)Abstract:Due to the significant geometric and radiation differences between synthetic aperture radar(SA)and optical images，it isdifficult for traditional methods to achieve accurate matching between SA and optical images In this paper，an accurate matchingmethod between cross domain sparse SA
5、and optical image based on end-to-end network framework is proposed The method firstpredicts the region that is considered to be the most suitable for matching in each image，and then generates the matching heatmapthrough multi-scale feature space cross-correlation operator Finally，the matching heatm
6、ap is classified into positive and negativematching to eliminate outliers and achieve accurate matching between SA and optical images The experimental results show that thatthe proposed approach provides a substantial improvement over previous methods for SA-optical image matching and can be used to
7、register even large-scale scenes，which is conducive to improve the accuracy of geographic positioning of optical satellite imagesKey words:image correspondence;feature detection;deep learning;synthetic aperture radar(SA);optical image基金项目:江苏省自然科学基金资助项目(20190772)收稿日期:2022-08-16修订日期:2022-10-180引言遥感最常用
8、的两种方式是合成孔径雷达(SA)和光学成像，因为它们提供的关于观测场景的信息是高度互补的。因此，SA 与光学数据融合已成为遥感领域的一个相关研究领域1。随着人工智能深度学习技术的出现，直接从数据中解决图像匹配问题的深度学习匹配方法得到了蓬勃发展。文献 2 证明了从神经网络的最后一层提取图像数据库(ImageNet)上预先训练的特征，在图像匹配任务中优于尺度不变特征变换(SIFT)描述算子2;文献 3 训练了一个完全卷积网络(FCN)来学习一个相似度量3;文献 4提出了一种基于微调卷积神经网络(VGG16)模型的特征提取配准方法4。以上方法在 SA 和光学图像匹配方面取得了显著的进展，但这些方法
9、依赖于选择良好的特征点来提取可匹配的候选区域和模板。考虑到 SA 和光学图像之间的很大差异，通常在这两个领域图像中都看不到显著的特征，难以实现精准匹配。本文提出了一种基于端到端网络机制的跨域稀疏SA 与光学图像精准匹配方法，首先预测每幅图像中被认为最适合匹配的区域，通过多尺度特征空间互相关运算生成匹配热图。最后，将匹配热图分类为正和负匹配来消除异常值，实现 SA 与光学图像的精确匹配。试验结果验证了所提方法在高分辨率 SA 光学图像及大场景多样数据集上匹配的有效性与鲁棒性。601第 44 卷第 12 期2022 年 12 月现 代 雷 达Modern adarVol44No12Dec 2022
10、1基于端到端网络机制的跨域稀疏 SA 与光学图像精准匹配模型基于端到端的稀疏跨域 SA 和光学图像精准匹配方法采用卷积神经网络(CNN)、二元交叉熵、非局部最大抑制及稀疏采样等技术，实现 SA 与光学两种不同模态图像的精确匹配，主要由区域优选网络(GN)、跨域匹配网络(CN)及奇异值消除网络(ON)组成，如图 1 所示。图 1所提方法匹配网络模型构架11区域优选网络区域优选网络主要用来提取匹配所需的 SA 和光学候选图像块，并评估图像块的匹配优度(网络结构如图 2 所示)。评估采用两个相同且相互独立(网络结构相同，但权值不共享)的特定 CNN 网络结构，网络基于各自模态进行训练，通过匹配损失函
11、数进行监督，每个特定 CNN 网络输出候选匹配图像块的优度图，接着将二者融合成交叉模态场景优度图。图 2区域优选网络架构特定 CNN 网络骨干结构为 VGG11 卷积神经网络结构，之后是两个步行因子为 2 的卷积层，接着是全连接层，由 2 个 11 的卷积层块组成，实现 32 倍(比高分辨率 SA 和光学图像之间最大偏移稍大)的下采样。最后是一个核尺寸步行因子分别为 Np和 Nk的最大池化层。这样的优选网络能识别 SA 和光学图像之间最大偏移量为 32 Nk像素及大小为 32Np32Np的高优度区域。SA 和光学图像区域优选网络使用配准的 SA和光学图像快对，共享二元标签 ym，按照各自的模态
12、单独进行训练，训练期间通过二元交叉熵损失函数进行监督，二元交叉熵损失函数表达式如下Lg=1NNiymiln(1 ymi)1NNi(1 ymi)ln(1 ymi)(1)式中:ymi为第 i(i=1N)个能被匹配的图像快对;ymi为优选网络 Sigmoid 激活输出结果;N 为总的样本数。为了识别提取高优度公共区域，将两个特定优度图通过像素级融合非局部最大抑制运算(NMS)，生成交叉模态场景优度图 G，非局部最大抑制5 计算公式如下Gij=exp(Gij)klNijexp(Gkl)(2)式中:Gij为优度图 G 中像素点(i，j)的值;Gkl为优度图G 中邻域像素点(k，l)的值;exp 为指数函
13、数;Nij为以像素点(i，j)为中心的邻域像素，邻域像素为 33 的最小窗，它能抑制冗余点，同时保留识别提取高优度点。当交叉模态场景优度图 G 中的像素点值超过 05 时视为高优度点，高优度点像素坐标通过下式转变成原始图像中像素坐标68。Cij=23+Nk2NpPij(3)式中:Cij为像素点在原始图像中的位置;Pij为交叉模态场景优度图中的像素点位置;表示向下取整;(Np，Nk)为池化与步行因子参数。12跨域匹配网络区域优选网络输出两幅图像粗分辨率情况下的匹配关键点，更精细的匹配关键点需经过跨域匹配网络来产生，即将较小的光学模板块在较大的 SA 图像搜索块上进行滑动，找到与光学模板块中心像素
14、点最大相关点，构成匹配关键点对。跨域匹配网络由在每个模态中两个相似且独立的特性提取和特征降低模块组成，完整架构以及输入和输出数据如图 3 所示。4 层 CNN 网络构成特征提取模块，在使用特征空间相关操作进行图像匹配之前，利用每个模态的特征降低网络，降低超列的通道数量。通过二维线性插值将特征图上采样，并堆叠成超列，使用几个 11 的卷积层降低超列深度到预期的特征数。为了改善显著特征响应，引入空间注意力机制9，使用二范数(L2)归一化将降低了的超列沿通道维进行701雷达系统与技术黄柏圣:基于端到端网络机制跨域稀疏 SA 与光学图像精准匹配方法2022，44(12)归一化。通过特征空间相关运算完成
15、搜索与模板超列的匹配，为了避免处理边界情况所带来的额外填充，在相关运算时使用有效填充，接着将结果进行上采样和填充，以匹配搜索图像块范围，其输出包含模板块在搜索块内每个偏移匹配分数的热图。图 3跨域匹配网络结构使用克氏函数作为真值，单位冲量位置被参数化为模板块在搜索块内的真实对应点，利用修正的均方误差(MSE)损失，通过反向传播对跨域匹配网络进行训练，修正的均方误差损失函数表达式如下Lmse=1N1+N0iwi(yi fss(yi)2(4)wi=yiN0N1+(1 yi)(5)式中:yi、yi分别为第 i 个目标标签和第 i 个样本的预测热图;fss表示 softmax 空间运算，softmax
16、 激活将预测热图中的所有点关联起来，并抑制其他区域的匹配分数，获得一个强峰值。当真值图中只包含一个单非 0值时，可利用权值 wi来确保峰值点损失与预测热图中所有匹配点的损失相一致。N1与 N0代表 yi中 0 和非0 像素的数量。为了消除训练数据集过拟合，将预激活热图yi稀疏化，并限制其动态范围，使用 L1正则化对 Lmse损失进行修改，其表达如下Lmse=Lmse+i|yi|(6)式中:为调整正则化强度的超参数。13奇异值消除网络由于应用于匹配热图的空间 softmax 操作的本质，y总是会包含少量显示出强响应的像素，但这些像素的幅度和位置难以判定匹配结果的好坏。对预激活热图y进行拓扑分析，好的匹配结果显示单一窄带峰值，坏的匹配结果显示宽带多峰值10。奇异值消除网络能够区分匹配结果的好坏，从而可降低不精确匹配结果的数量，奇异值消除网络结构与匹配特征提取网络结构基本相同，如图 3 所示，只做了小的修改，即匹配热图不做归一化处理、动态范围可变及不同分布，输入层利用实例归一化代替线性归一化，输出层用自适应平均池化代替，学习过程使用二元交叉熵损失函数(BCE)来监督，其表达式如下Lg=1NN