1、Mar.,2023Vol.21,No.3地 理 空 间 信 息GEOSPATIAL INFORMATION2023 年 3 月第21卷第 3 期引文格式：何梁,黄劲松.一种基于去运动模糊的视觉SLAM算法J.地理空间信息,2023,21(3):31-35.doi:10.3969/j.issn.1672-4623.2023.03.007SLAM1-2技术被广泛应用于自动驾驶、AR/VR以及移动测量3等领域。随着计算机视觉的迅猛发展，基于视觉的 SLAM 方法成为研究热点，主流算法有ORB-SLAM等。视觉SLAM所需的传感器为相机，然而在相机高速运动时经常出现运动模糊的场景。运动模糊是指景物图像
2、中像素发生了移动和叠加。若在曝光期间相机和物体发生了速度较快的相对移动，就会出现比较明显的运动模糊。运动模糊是降低视觉SLAM性能的重要因素，因此有必要对其进行研究。在去运动模糊领域，LI Y4等结合维纳滤波，利用一种新的模糊核估计模型实现对旋转运动模糊图像的去模糊，达到了良好效果；Choudhury S5等提出了一种加性高斯噪声辅助的去运动模糊方法，在算法中利用正则化函数取代固定参数使得收敛速度更快；XU L6提出了一种基于L0范数的最大后验概率去运动模糊方法；SUN J7等先将深度学习方法应用于图像去模糊领域，再采用卷积神经网络进行模糊核估计，而不是直接端到端地去模糊，最后仍采用非盲去模糊
3、反卷积对图像进行还原；Nah S8等提出的卷积神经网络可通过端到端的方式实现去模糊，在视觉效果和定量分析上都取得了令人满意的表现；Kupyn O9等提出了基于条件生成对抗网络的图像复原算法DeblurGAN，可对单张图片直接进行去模糊，达到了较佳的效果。在去运动模糊与 SLAM 相结合方面，Lee H S10等通过来自SLAM系统的信息来估计运动模糊，再利用估计值去模糊；JIN H11等提出了不同思路，不是去模糊，而是对图像块进行模糊处理，使其看起来相似，这可能有助于特征匹配，但在存在运动模糊的情况下，检测到的特征数量通常会大大减少，特别是当显著特征的数量有限时，将对系统精度造成影响；Pret
4、to A12等针对许多分割的图像区域估算了点扩散函数（PSF），用于最小化运动模糊在基于SIFT提取兴趣点和构建图像描述符时的不良影响，该方法无需显式的去模糊，但计算时间不足以进行实时操作，且基于反卷积的去模糊一种基于去运动模糊的视觉SLAM算法（1.武汉大学 测绘学院，湖北 武汉 430079）摘要：针对视觉SLAM中因相机高速运动带来的图像运动模糊导致定位精度下降的问题，采用一种基于生成对抗网络的去运动模糊方法进行图像的运动模糊校正，将其应用于视觉SLAM算法中，并提出一种基于滑动窗口的关键帧筛选与维护方法。在数据集中进行测试，结果表明该关键帧维护方法可有效减小计算量，提高计算效率。结合去
5、运动模糊的视觉SLAM算法可提高特征点提取与匹配的效果，提升在相机剧烈运动状况下SLAM的精度。关键词：去运动模糊；视觉SLAM；生成对抗网络；关键帧中图分类号：P232文献标志码：B文章编号：1672-4623（2023）03-0031-05Visual SLAM Algorithm Based on Demotion FuzzyHE Liang1,HUANG Jinsong1(1.School of Geodesy and Geomatics,Wuhan University,Wuhan 430079,China)Abstract:Aiming at the problem of imag
6、e motion fuzzy caused by high speed camera motion in visual SLAM decreasing the localization accura-cy,we used a demotion fuzzy method based on generative adversarial network to correct the motion fuzzy of image,applied it to visual SLAM al-gorithm,and proposed a key frame screening and maintenance
7、method based on sliding window.We tested it in a data set.The results show thatthe key frame maintenance method can effectively reduce the computation amount and improve the computation efficiency.The visual SLAM al-gorithm combined with demotion fuzzy can improve the effect of feature point extract
8、ion and matching,and improve the accuracy of SLAM algo-rithm under the condition of camera intense motion.Key words:demotion fuzzy,visual SLAM,generative adversarial network,key frame收稿日期：2021-05-28；修回日期：2022-09-15。第一作者简介：何梁（1996），硕士研究生，研究方向为导航与定位技术，E-mail：。何梁1，黄劲松1地理空间信息第21卷第3期可能会使图像变差，不是解决视觉SLAM中运
9、动模糊的适当方案，因为恢复的图像质量很大程度上取决于估计的PSF准确性；Klein G13等试图使用Edgelets解决视觉SLAM中的模糊效果，Edgelets是指局部直线段，即使在严重模糊的图像中，小边缘也可能保持完整，据此提出了一种使用Edgelets的跟踪方法，并使视觉SLAM系统对运动模糊具有鲁棒性。受上述研究启发，由于神经网络能更好地刻画图像特征，将其应用于图像去模糊比传统方法具有更好的效果，因此本文将基于生成对抗网络的去模糊方法与视觉SLAM相结合；由于增加了去运动模糊模块，为提高计算效率，提出了基于特征点匹配数量的运动模糊判断方法，结合局部地图的关键帧选取方法和基于滑动窗口的关
10、键帧维护方法，提升了算法的计算效率和定位精度。1基于去运动模糊的视觉SLAM算法基于去运动模糊的RGB-D相机视觉里程计算流程如图1所示：对输入的当前帧进行畸变校正；提取当前帧的关键点并计算描述子；判断系统是否初始化，未初始化则根据该帧和RGB-D相机提供的深度图计算特征点的三维位置，完成初始化，然后返回步骤；判断运动模糊帧和进行去运动模糊，算法分为两个部分，一部分是在特征点匹配数量足够的情况下进行正常的前端跟踪，另一部分是对特征点匹配数量不足的帧进行去运动模糊，再为全局优化提供信息；若经过去模糊后的图像位姿计算成功，则采取结合局部地图的判断策略判断其是否为关键帧，如果是则送入后端优化模块，若
11、位姿仍计算失败则丢弃该帧，由于只在后端优化模块中进行处理，因此无需较高的更新频率。输入图像特征提取与匹配位姿估计关键帧选取全局优化结束去运动模糊特征提取与匹配位姿估计关键帧选取N匹配数量 450Y图1基于去运动模糊的视觉SLAM系统流程图1.1基于生成对抗网络的去运动模糊生成对抗网络的提出使神经网络在图像处理领域得到了更广泛的应用。其应用在去运动模糊上具有更佳的效果，本文基于DeblurGAN的开源算法进行去运动模糊。生成对抗网络包括生成模型G和判别模型D两个由卷积神经网络构成的模型，这两个网络就是博弈双方。生成器通过输入随机噪声输出虚假图像，判别器输入的是真实图像和生成器生成的虚假图像，然后
12、判别输入图像是真实图像还是虚假图像。当生成器生成的图像与原图的分布完全重合，判别器也无法区分生成样本与真实样本，即对真实样本和虚假样本的分类准确率达到50%，此时网络训练完成。生成对抗网络的去模糊过程如图2所示。生成器 G判别器 D模糊图像判别结果生成图像清晰图像图2生成对抗网络的去模糊过程示意图优化函数为：V()D,G=Expdata()xlogD()x+Ezpz()zlog()1-D()G()z（1）式中，x为训练的真实图片数据；pdata()x为图片数据的分布；pz()z为噪声z的分布；G为生成器网络，z为随机噪声，通过该噪声生成的图片为G(z)；D为判别器网络，判断输入图片是否与真实图
13、片一致；D(x)为x是真实图片的概率，1表示真实图片，0表示虚假图片。训练完毕后，利用训练好的生成器网络可直接对单张图像进行去模糊。1.2关键帧选取与维护方法关键帧是SLAM中具有代表性的帧，能代表附近的帧，从而减少优化帧数。关键帧是连接前端与后端的纽带，合理选取关键帧能平衡精度和计算量。ORB-SLAM2中对于关键帧的判断标准较为宽松，仅将图像的移动距离作为判断标准，即比较当前帧与参考帧的位姿，若超过一定阈值则视为关键帧，因此插入局部地图中的关键帧较多，造成冗余，且插入的关键帧中也容易存在位姿计算不准确的情况。由于本文算法结合了去运动模糊，增加了计算负担，因此需要提高计算效率。针对该问题，本
14、文采取的关键帧选取策略为：每个关键帧主要存储前端普通帧和去运动模糊帧解算的位姿、提取的特征点和匹配的地图点。由于本文对部分模糊图像进行了去模糊处理，因32第21卷第3期何梁等：一种基于去运动模糊的视觉SLAM算法此先将去模糊后的图像均视为潜在关键帧。对图像进行去模糊虽然增加了特征点提取的数量，但匹配时无法避免地会增加误匹配情况，本文采用随机采样一致性（RANSAC）算法处理误匹配，使匹配效果更鲁棒。RANSAC算法是一种根据带有外点的实际数据来估计数学模型参数的非确定性算法。根据RANSAC算法去除误匹配的点后，再计算位姿，若外点比例超过一定阈值则不设为关键帧，最后基于以下两点来判断当前帧是否
15、为关键帧：将当前去模糊帧的位姿与局部地图中姿态最接近或距离最接近的关键帧进行比较，而不是与参考帧的位姿比较，若大于一定阈值则将该帧视为关键帧；计算当前去模糊帧匹配的地图点数量与当前帧提取的特征点数量之比，若小于一定阈值，则视为关键帧。标准顾及了局部地图，能利用更多的过往帧信息，标准则是判断场景是否发生了明显变化，这时也需要更新局部地图。根据上述两点即可筛选出质量较高的关键帧。关键帧的维护是指在局部地图中适当删除某些帧，防止数据冗余，保证局部地图的规模。在ORB-SLAM2中选取具有共视关系的关键帧加入局部地图，且没有设计关键帧剔除策略，因此会导致关键帧冗余，增加计算量。本文针对这一点做出改进，
16、在局部地图模块中采用滑动窗口的方法，滑动窗口中只保留固定大小的数据，新的关键帧产生后，进行数据关联，将与最新两个关键帧视场变化最大的关键帧删除。具体实现方法为将滑动窗口中每一个关键帧对应的地图点与当前最新两帧的地图点进行匹配，选择出匹配数量最少的关键帧进行剔除，以此进行关键帧的维护。2算法测试与分析2.1去运动模糊实验与分析2.1.1训练过程与设备介绍训练网络的数据集采用GOPRO数据集。GOPRO数据集是由Nah S8等提出的，在图像质量分析中使用最广泛的公开数据集之一。本文采用PyTorch训练模型，将其中的图像随机裁剪成256256的图像块输入网络训练，模型训练时一次训练所选取的样本数为1；最初生成器和判别器设置的学习速率为10-4，经过150次迭代后，在新一轮150次迭代中将该比率线性衰减；运行电脑的CPU为Intel 酷睿i7 8750H，显卡为NVIDIA GeForce GTX 1060。2.1.2去运动模糊效果分析本文利用未经训练的SLAM数据集TUM数据集进行实验测试。TUM数据集是德国慕尼黑工业大学计算机视觉组2012年提出的一个RGB-D数据集，主要是针对纹理丰富