1、第 42 卷第 4 期2023 年 8 月红 外 与 毫 米 波 学 报J.Infrared Millim.WavesVol.42，No.4August，2023星载光学遥感图像特征误匹配剔除方法研究薛素梅1，2，3，汤瑜瑜1，2*，危峻1，2，黄小仙1，2（1.中国科学院红外探测与成像技术重点实验室，上海 200083；2.中国科学院上海技术物理研究所，上海 200083；3.中国科学院大学，北京 100049）摘要：误匹配剔除是提高特征匹配精度的重要手段，星载光学遥感图像由于数据量大、纹理重复、光照强度变化等特点，导致现有误匹配剔除方法的性能下降。针对此问题，提出一种基于局部和全局几何约束
2、的误匹配剔除方法。在初始匹配集的基础上，首先利用特征局部一致性对误匹配进行初步过滤；然后根据图像间的变换关系构建特征拓扑结构，并提取其几何属性描述结构相似度，基于此建立特征全局结构一致性约束模型，通过推导模型的最优解剔除残留误匹配；采用引导式匹配策略，选取局部一致性高的匹配点组成高内点率匹配集，以此作为特征全局邻域，提高全局约束的鲁棒性和效率。实验结果表明，与现有方法相比，所提方法对星载光学遥感图像的匹配性能更优，平均精确率、召回率分别为0.9和0.89；在不同内点率的初始匹配集上表现鲁棒，平均F分数为0.86。关键词：星载光学遥感图像；特征匹配；误匹配剔除；局部约束；全局约束；引导式匹配中图
3、分类号：TP751 文献标识码：AAnalysis of eliminating feature mismatch in satellite-borne optical remote sensing imagesXUE Su-Mei1，2，3，TANG Yu-Yu1，2*，WEI Jun1，2，HUANG Xiao-Xian1，2（1.Key Laboratory of Infrared Detection and Imaging Technology of the Chinese Academy of Sciences，Shanghai 200083，China；2.Shanghai Ins
4、titute of Technical Physics of the Chinese Academy of Sciences，Shanghai 200083，China；3.University of Chinese Academy of Sciences，Beijing 100049，China）Abstract：Mismatch elimination is an important means of improving the accuracy of feature matching.Due to the large amount of data，texture duplication，
5、light intensity changes，and other characteristics of satellite-borne optical remote sensing images，the performance of existing mismatch elimination methods is degraded.To solve this problem，a method based on local and guided global geometric constraints is proposed to eliminate mismatches.Based on t
6、he initial matching set，local consistency of features is used to filter out mismatches.Then，according to the transformation relationship between images，a feature topological structure is constructed，and its geometric attributes are extracted to describe structural similarity.Based on this，a feature
7、global structure consistency constraint model is established，and residual mismatches are eliminated by deriving the optimal solution of the model.A guided matching strategy is adopted for global constraint，and matching points with high local consistency are selected to form a high internal point rat
8、e matching set，which is applied as the feature global neighborhood to improve the robustness and efficiency of the algorithm.The experimental results show that，in comparison with existing methods，the proposed method has better matching performance for satellite-borne optical remote sensing images，wi
9、th an average accuracy and recall of 0.9 and 0.89，respectively.It is robust on the initial matching set with different internal point rates，and the average F score is 0.86.Key words：satellite-borne optical remote sensing image，feature matching，mismatch elimination，local constraints，global constraint
10、s，guided matching文章编号：1001-9014（2023）04-0519-08DOI：10.11972/j.issn.1001-9014.2023.04.014收稿日期：2022 11 09，修回日期：2022 12 19 Received date：2022 11 09，revised date：2022 12 19基金项目：国家自然科学基金（11573049）Foundation items：Supported by the National Natural Science Foundation of China（11573049）作者简介（Biography）：薛素梅（1
11、994-），女，江苏南通如皋人，博士研究生，主要研究领域为遥感图像处理。Email：xue_*通讯作者（Corresponding author）：E-mail：42 卷 红 外 与 毫 米 波 学 报引言特征匹配是遥感图像处理领域中的关键环节，其目的是在两组特征点之间建立可靠的对应关系，广泛应用于图像配准、目标检测、三维重建、图像融合1等方向。尽管近几十年来特征匹配方法有了长足的发展，但是遥感图像纹理结构的重复、设备姿态的变化、不同探测器间的非线性强度差异等因素，使得特征匹配的结果中存在大量误匹配2-3，影响后续图像的高精度应用。因此，研究有效的遥感图像特征误匹配剔除方法十分必要。目前，在初
12、始特征匹配集的基础上进行误匹配剔除的方法可大致分为重采样方法、图形匹配方法和非参数拟合方法。Fischler等4提出的随机抽样一致性（Random Sample Consensus，RANSAC）算法是经典的重采样方法，具有多种变体5-6，这类方法通常以迭代的方式随机选取匹配集拟合变换模型，直到找出符合变换关系的最优匹配集，具有较高的匹配精度，但是当初始匹配集中存在大量误匹配时，其匹配效率很低。图形匹配方法通常根据特征局部或全局拓扑结构的一致性识别误匹配。如Ma J等7根据特征局部元素分布和运动向量构建局部一致性函数，剔除一致性较差的误匹配，该方法具有较多变体8-10。Lyu G等11通过定
13、义特征三元组间的几何属性构建局部相似度量过滤误匹配；Chen J等12通过网格化特征运动矢量并计算局部网格内的一致性检测误匹配。这类方法侧重于特征局部信息，具有很高的效率，但没有考虑全局信息，对于纹理重复的图像匹配精度不高。非参数拟合方法通常基于先验信息拟合预定义的非参数模型。如Li X等13基于单应性变换引入对应函数，剔除对应函数不一致的匹配点。Wang G等14利用图形拉普拉斯正则项约束特征间的固有几何结构，然后用期望最大化算法估计图像间的变换关系。但是这类方法通常具有较高的计算复杂度，不适合处理数据量巨大的遥感图像。针对现有方法无法兼顾匹配精度和鲁棒性以及效率低的问题，提出一种结合局部和
14、全局几何约束的误匹配剔除方法。首先利用高效的特征局部约束初步剔除误匹配，然后构建特征全局结构一致性模型细化匹配集，选取局部约束结果中的高内点率匹配集作为目标匹配的全局邻域。和单一的局部约束方法相比，所提方法考虑了全局拓扑结构信息，能够弥补局部信息的局限性，对于纹理重复的遥感图像匹配精度更高。和传统的全局约束方法相比，所提方法将全局约束转化为最优化数学模型，并利用局部约束结果引导全局约束的邻域构建，缓解了初始匹配集内点率的影响，提高了算法鲁棒性和效率。实验证明，所提方法在不同数据集上的匹配性能优于对比方法。1 特征误匹配剔除方法 所提方法是在初始匹配集的基础上剔除误匹配，为不失一般性，采用经典的
15、尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）算法获取初始匹配集 15，表 示 为S0=Prefi(xi，yi)，Pseni(xi，yi)，0 i ,i=1,2,.,N,（4）式中：S1是利用局部一致性函数从初始匹配集中提取的可靠匹配点集；是阈值参数，取值范围0，1，值越大表示特征局部一致性越高，当前匹配为内点的可能性越大。1.2引导式全局几何约束以上局部约束能够快速去除初始匹配集中误差较大的误匹配，但约束比较单一且没有考虑全局信息，导致匹配结果中仍然存在误匹配，因此下面将考虑特征全局信息，对特征间的拓扑结构相似性进行几何约束，进一步去除误匹配
16、。1.2.1全局几何约束模型具有同一场景的星载遥感图像之间一般存在旋转、缩放和平移变换关系，通常用相似变换模型表示5，16，数学表达如下：xrefiyrefi1=k cos-sinasincosb001xseniyseni1,（5）式中：k是尺度缩放因子；是旋转角度；a、b分别是x、y方 向 的 平 移 量。对 于 图 像 中 的 任 意 两 点Pi(xi，yi)、Pj(xj，yj)，其欧式距离定义为：d(Pi,Pj)=(xi-xj)2+(yi-yj)2.（6）图像变换虽然会改变特征点之间的距离，但特征间的拓扑结构通常会得到很好的保留，该性质称为图像结构保持特性7。因此，内点的几何坐标满足 式
17、（5），而 外 点 不 满 足。假 设Prefi(xi，yi)，Pseni(xi，yi)和Prefj(xj，yj)，Psenj(xj，yj)是两组内点，则结合式（5）和式（6）可以推出：d(Prefi,Prefj)d(Pseni,Psenj)=k.（7）由式（7）可知，内点构成的三角形对应边长度比例相等，即三角形相似；而外点因为不满足式（5），所以不具备该性质。由于特征定位的固有误差，内点三角形一般不会绝对相似，而是存在微小偏差，但该偏差远小于外点三角形，如图3所示，其中Pref1和Psen1是内点，Pref1和Psen2是外点；虚线表示三角形拓扑结构，实线表示对应关系。由图可见，外点的拓扑结
18、构相差较大，而内点的拓扑结构具有相似性。基于内、外点拓扑结构差异，将目标匹配Prefi，Pseni作为顶点，与其他任意两组假定匹配Prefj，Psenj、Prefk，Psenk构成三角形对PrefiPrefjPrefk，PseniPsenjPsenk，统计全局三角形对的相似度偏差，衡量目标匹配的全局拓扑结构一致性，从而区分内、外点。为了兼顾有效性和效率，文中以目标特征点所在的两边定义三角形相似度，包括两边与对应边的长度比例相似度、两边夹角相似度和两边相对位置的一致性，数学定义如下：Slengthijk=1-|d()Prefi,Prefjd()Pseni,Psenj-d()Prefi,Prefk
19、d()Pseni,Psenkmax()d(Prefi,Prefj)d()Pseni,Psenj,d()Prefi,Prefkd()Pseni,Psenk,（8）图3特征拓扑结构一致性示意图Fig.3The schematic illustration of feature topological consensus52142 卷 红 外 与 毫 米 波 学 报式中：Slengthijk表示两边与对应边的长度比例相似度，取值范围0，1，值越大越相似；等式右边分子表示边长比例之差；分母的作用是对边长比例之差进行归一化；|表示取绝对值；max()表示取最大值。类似地，两边夹角相似度定义如下：Sang
20、leijk=1-|refijk-senijkmax(refijk,senijk),（9）式中：Sangleijk表示两边夹角相似度；其中，refijk和senijk计算如下：refijk=arccos(PrefiPrefj PrefiPrefk|PrefiPrefj|PrefiPrefk),（10）senijk=arccos(PseniPsenj PseniPsenk|PseniPsenj|PseniPsenk),（11）式中：arccos()是反余弦函数。除了对应边比例、夹角保持不变外，两边的相对位置也应该保持不变，利用两边所在向量的叉积方向表征该性质，定义如下：Vijk=(PrefiPre
21、fj PrefiPrefk)(PseniPsenj PseniPsenk),（12）Svectorijk=1,Vijk 00,Vijk ,（18）因此，最优内点集 S的解表示为：S=Prefi,Pseni S1|Ti=1,i=1,2,.,NS1.（19）1.2.2引导式匹配策略根据上节全局几何约束原理可知，内点的全局结构一致性大小与全局邻域内点率有关，全局邻域内点率越低，内点的全局一致性越小，此时不利于与外点区分。因此，若直接对S1进行全局约束，匹配精度将依赖于S1的内点率。为了解决这一问题，文中采用引导式匹配策略，如图4（b）所示，首先获取初始匹配集S0，然后利用局部约束初步过滤外点得到匹配
22、集S1，接着从S1中提取具有更高内点率的子匹配集S1，将S1作为S1中匹配点的全局邻域，最后利用全局约束模型剔除S0中的残留外点，得到最终结果。其中S1的获取方法是：将S1中匹配按照局部一致性的大小降序排列，取前 L个匹配构成S1。对比图4（a）和4（b）的匹配结果可知，引导式匹配对外点剔除更干净，同时能够保留较多内点。引导式匹配以高内点率匹配集S1作为目标匹配的全局邻域，能够扩大内、外点全局结构一致性的差异，如图5所示，其中（a）和（b）分别是直接匹配和引导式匹配时S0的全局一致性函数值Cglobal的分布情况，可见在引导式匹配时Cglobal分布具有更大的分界区间，从而有利于区分内、外点。
23、5224 期薛素梅 等：星载光学遥感图像特征误匹配剔除方法研究2 实验结果及分析 实验图像如图6所示，四组光学遥感图像来自不同探测器或不同波段，具有灰度、尺度、分辨率等差异，图像间存在缩放、平移和旋转等变换。每组图像左边设为参考图，右边为待配图，具体信息见表1。实验方法分别是文中匹配算法、文献 6 快速抽样一致性（Fast Sampling Consistence，FSC）算法、文献 7 局部保持匹配（Local Preserve Match，LPM）算法和文献 17 位置-尺度-方向欧式距离（Position-Scale-Orientation Euclidean Distance，PSOE
24、D）算法。其中，文中方法阈值设为 0.9；多尺度参数M取值2，4，6；权重系数w1、w2、w3分别设为0.4、0.4和0.2；阈值设为0.1；L采用动态值：S1中匹配数量大于40 时，L取40，否则，L等于S1中匹配数量；L采用动态值能够在保证匹配性能的情况下，避免L值过大降低匹配效率。所有方法的特征提取和描述都基于 SIFT 算子，初始匹配集保持一致。实验运行环境均为AMD Ryzen 7 5800H Radeon Graphics 3.20 GHz 处理器，开发环境为 MATLAB2019a。2.1特征匹配及评价实验图像的初始匹配结果如图7所示，其中红色连线表示外点，绿色连线表示内点，可见
25、初始匹配集中存在大量外点。利用本文算法和其他算法剔除外点的结果如图8所示。结合图7和图8，对各算法评价如下：主观视觉上，各算法都能减少初始匹配集中的外点，但不同算法的匹配结果差异明显。其中，FSC算法对外点剔除比较干净，但是在最后一组图像中内点丢失严重。PSOED算法匹配效果不稳定，在第图4直接匹配策略与引导式匹配策略对比，（a）直接匹配，（b）引导式匹配Fig.4Comparison of directed matching strategy and guided matching strategy，（a）directed matching，（b）guided matching图5全局一致性
26、函数值Cglobal分布直方图对比，（a）直接匹配，（b）引导式匹配Fig.5Comparison of Cglobaldistribution histograms of global consistency value，（a）directed matching，（b）guided matching图6实验图像Fig.6Experimental images表1实验图像信息Table 1Information of experimental images图像对编号ABCD参考图天宫2号可见光Sentinel_2B短波红外Landsat8近红外天宫2号可见近红外待配图天宫2号短波红外Lands
27、at4-5_TM短波红外Landsat8短波红外天宫2号热红外图像大小6846648501 00074987788071352342 卷 红 外 与 毫 米 波 学 报三组图像中残留较多外点，在二、四两组中内点保留不够。LPM算法在四组图像中残留的外点明显多于其他方法。对比之下，文中方法在有效剔除外点的同时保留了较多内点，主观评价优于对比方法。客观定量评价采用精确率和召回率作为匹配结果的评价指标，定义如下7：Pre=Ncorrect_matchesNfinalRec=Ncorrect_matchesNinitial_correct_matches,（20）式中：Pre是精确率，表示当前匹配集中
28、内点的比例，它衡量的是剔除外点的能力；Rec是召回率，表示当前匹配集的内点数与初始匹配集内点数之比，它衡量的是保留内点的能力；Nfinal是当前匹配集中的总匹配数；Ninitial_correct_matches是初始匹配集中正确匹配数。Pre和Rec取值范围都是0，1，数值越高代表匹配集质量越好。实际Pre和Rec相互制约，因此引入二者的平衡函数 F 分数作为匹配结果的综合评价指标9，定义如下：Fscore=2 Pre RecPre+Rec.（21）客观定量评价结果如图9所示。其中，本文方法匹配结果的精确率和召回率都接近0.9，说明外点剔除和内点保留能力都比较好。FSC 和 PSOED匹配结
29、果的精确率虽然很高，但是召回率偏低，说明虽然剔除了外点，但内点丢失严重。LPM匹配结果精确率不如其他方法，说明外点剔除不充分，其召回率表现不稳定。图9（c）是四组匹配结果的综合评价，文中方法的F分数保持在0.9左右；而对比方法的 F分数呈明显下降趋势。以上客观评价表明，文中方法能够兼顾剔除外点和保留内点，优于对比方法，客观评价与主观效果一致。图7初始匹配Fig.7Initial matching图8不同方法误匹配剔除结果对比，（a）本文方法，（b）FSC算法，（c）PSOED算法，（d）LPM算法Fig.8Comparison of mismatch elimination results b
30、y different methods，（a）proposed method，（b）FSC algorithm，（c）PSOED algorithm，（d）LPM algorithm图9匹配结果的客观评价，（a）精确率，（b）召回率，（c）F分数Fig.9Objective evaluation of matching results，（a）precision，（b）recall，（c）F-score5244 期薛素梅 等：星载光学遥感图像特征误匹配剔除方法研究2.2算法鲁棒性和效率分析初始匹配集的内点率是影响特征匹配算法性能的重要因素10。因此，文中通过改变初始匹配集的内点率测试匹配方法的鲁
31、棒性。一般通过固定内点数量，变外点数量产生不同内点率的初始匹配集7，然后利用误匹配剔除算法进一步特征匹配，匹配结果的定量评价如图10所示。其中，初始匹配集内点率变化区间为0.08，0.3，步长为 0.02，固定内点数100。由图10可知，在初始匹配集内点率很低时，文中方法匹配结果的精确率和召回率都能达到较高水平。而对比算法在初始内点率较低时召回率下降严重，其中FSC算法匹配精确率较高但是召回率波动较大；LPM和PSOED算法无法兼顾精确率和召回率，综合评价较差。相比之下，文中方法对不同内点率的初始匹配集都能取得良好的匹配效果，匹配性能更鲁棒。为了测试匹配算法效率，对六组不同规模的初始匹配集进行
32、特征匹配，各算法的耗时情况如表2所示。四种匹配算法中，FSC最快，PSOED最慢，文中算法速度仅次于FSC，略优于LPM，因为文中对全局邻域匹配数量进行了合理限制，提高了匹配速度，虽然随着初始匹配数量的增加效率略有降低，但仍然保持在1秒以内。由此可见，文中算法匹配速度在对比方法中处于前列，适用于数据量较大的遥感图像。3 结论 针对星载光学遥感图像中的特征误匹配问题，提出一种结合局部和全局几何约束的误匹配剔除方法。首先利用特征局部约束对误匹配初步过滤，为后续全局约束减轻计算负担；然后建立特征全局结构一致性约束模型剔除残余误匹配，提高了匹配精度，弥补了局部约束的不足；同时采用引导式匹配策略，在局部
33、约束中选取高内点率匹配集，引导全局约束时邻域几何关系的构建，提高了匹配算法的鲁棒性。多组实验表明，所提方法能够有效去除不同类型遥感图像的特征误匹配，同时保留较多的正确匹配，平均精确率和召回率分别为0.9和0.89；该 方 法 具 有 良 好 的 鲁 棒 性，在 内 点 率 区 间 为0.08，0.3的初始匹配集上的平均 F 分数达到0.86；算法效率较高，速度在秒级以内。所提方法容易移植到其他基于特征的图像匹配中，对于遥感图像的高精度应用具有参考意义。References1 Zhou H，Dai A，Tian T，et al.Feature matching for remote 图 10匹配
34、算法的鲁棒性测试，（a）精确率，（b）召回率，（c）F分数Fig.10Robust test of matching algorithms，（a）precision，（b）recall，（c）F-score表2算法耗时对比Table 2Comparison of algorithm time（s）初始匹配数200350500650840947本文0.1010.1450.1980.2150.310.408PSOED2.5232.5562.5712.5732.5892.659LPM0.7420.7550.7590.7650.8120.898FSC0.0240.0280.0290.030.0320.
35、03752542 卷 红 外 与 毫 米 波 学 报sensing image registration via manifold regularizationJ.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2020，13：4564-4574.2 Yu R，Chen W，Yang Y，et al.Remote sensing image registration of small unmanned aerial vehicles based on inlier maximiza
36、tion and outlier controlJ.Journal of Remote Sensing，2020，24（11）：1325-1341.（余蕊，陈玮扬，杨扬，等.内点最大化与冗余点控制的无人机遥感图像配准J.遥感学报），2020，24（11）：1325-1341.3 Hong Y，Leng C，Zhang X，et al.HOLBP：Remote sensing image registration based on histogram of oriented local binary pattern descriptorJ.Remote Sensing，2021，13（12）：2
37、328.4 M.A.Fischler，R.Bolles.Random sample consensus：A paradigm for model fitting with applications to image analysis and automated cartography J.Commun.ACM，vol.24，no.6，pp.381395，1981.5 Li B，Ye H.RSCJ：Robust sample consensus judging algorithm for remote sensing image registrationJ.IEEE Geoscience and
38、 Remote Sensing Letters，2012，9（4）：574-578.6 Wu Y，Ma W，Gong M，et al.A novel point-matching algorithm based on fast sample consensus for image registrationJ.IEEE Geoscience and Remote Sensing Letters，2014，12（1）：43-47.7 Ma J，Zhao J，Jiang J，et al.Locality preserving matchingJ.International Journal of Co
39、mputer Vision，2019，127（5）：512-531.8 Wu Y，Xiao Z，Liu S，et al.A Two-Step Method for Remote Sensing Images Registration Based on Local and Global ConstraintsJ.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2021，14：5194-5206.9 Ye X，Ma J，Xiong H.Local Affine Preservation
40、 With Motion Consistency for Feature Matching of Remote Sensing ImagesJ.IEEE Transactions on Geoscience and Remote Sensing，2021，60：1-12.10 Ma J，Li Z，Zhang K，et al.Robust feature matching via neighborhood manifold representation consensusJ.ISPRS Journal of Photogrammetry and Remote Sensing，2022，183：1
41、96-209.11 Lyu G，Chi Q，Awrangjeb M，et al.Robust Registration of Multispectral Satellite Images Based on Structural and Geometrical SimilarityJ.IEEE Geoscience and Remote Sensing Letters，2021，19：1-5.12 Chen J，Yang M，Peng C，et al.Robust Feature Matching via Local Consensus J.IEEE Transactions on Geosci
42、ence and Remote Sensing，2022，60：1-16.13 Li X，Hu Z.Rejecting mismatches by correspondence functionJ.International Journal of Computer Vision，2010，89（1）：1-17.14 Wang G，Wang Z，Chen Y，et al.Learning coherent vector fields for robust point matching under manifold regularization J.Neurocomputing，2016，216：
43、393-401.15 Lowe D G.Distinctive image features from scale-invariant keypointsJ.International journal of computer vision，2004，60（2）：91-110.16 Fan B，Huo C，Pan C，et al.Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFTJ.IEEE Geoscience and Remote Sensing Letters，2012，10（4）：657-661.17 Ma W，Wen Z，Wu Y，et al.Remote sensing image registration with modified SIFT and enhanced feature matchingJ.IEEE Geoscience and Remote Sensing Letters，2016，14（1）：3-7.526
