1、收稿日期：；修回日期：基金项目：国家重点研发计划资助项目（）作者简介：王富强（），男，安徽亳州人，硕士研究生，主要研究方向为视觉 ；王强（），男（通信作者），湖北荆州人，副教授，硕导，博士，主要研究方向为多智能体协同、移动机器人导航（）；李敏（），女，湖北武汉人，本科；杨盼（），女，河南开封人，本科基于动态分级的自适应运动目标处理 算法王富强，王强，李敏，杨盼（武汉理工大学 交通与物流工程学院，武汉 ）摘要：针对移动机器人在动态环境中视觉同时定位和地图构建（，）精度低、鲁棒性差的问题，提出了一种自适应运动目标处理 算法（，）。基于对极几何约束的场景动态分级前端实时感知运行环境的动态变化。通过基
2、于几何约束和运动概率的低动态环境动态特征和基于语义分割的高动态环境动态目标处理消除运动目标。在计算机视觉数据集 上进行实验验证，结果表明提出方案在复杂动态环境中保证算法实时性的前提下提升了移动机器人建图过程中定位的精度和鲁棒性。关键词：同时定位和地图构建；动态环境；动态分级；对极几何；语义分割；运动概率中图分类号：文献标志码：文章编号：（）：，（，）：（），（）：；引言近年来，自动驾驶、无人机、移动机器人等智能领域受到广泛关注。视觉同时定位和地图构建（）作为移动机器人、自动驾驶和虚拟现实的关键技术，通过设备上搭载的传感器感知周围环境，实现自我定位并增量式构建环境地图。相较于激光雷达，相机价格低
3、廉、信息丰富的特点具有显著优势，现有的 方案在基于静态环境假设条件下已经取得显著的研究成果，如基于特征点法的 、基于直接法的 等，能在静态环境下准确定位并建立稀疏或稠密地图。然而，在实际环境中动态场景是普遍的，当机器人运行在动态未知的新环境时，不可避免会观测到运动的人或物体，这些运动对象会严重影响机器人的位姿估计精度甚至导致定位和建图失效，静态世界的理想假设严重限制了 的应用范围。为提高 在复杂动态环境中的鲁棒性，扩大 的应用场景，近年来相关学者对传统 方案进行了改进，主要分为基于对极几何 和光流 的几何方法，以及基于深度学习的方法两类。基于几何的方法 判断像素级特征点的动态性。等人 对室内动
4、态环境下 进行研究，通过深度图聚类把图像分成若干区域，将 图像上的特征点投影到聚类后的深度图上判断区域动态性，但是如何确定图像帧准确的聚类数是难点。林凯等人 利用 图的深度信息，建立基于重投影深度差值的累积模型分割场景动静态区域，赋予动静区域特征点不同的权重进行优化。魏彤等人 根据图像深度和颜色信息进行场景区域分割，结合稀疏动态特征信息标记动态区域，当动态目标和背景的颜色或深度相近时会出现错误分割。以上基于几何的方法分割结果准确度低，且仅能处理包含少量动态特征的场景，若环境中存在大量的动态目标将会失效。基于深度学习的方法将图像识别、语义分割和实例分割应用到 系统，识别图像的先验运动信息。何召兰
5、等人 利用 生成掩模信息对特征点进行筛选，识别并剔除预先训练好的几种潜在运动目标，然而 复杂、计算量大，不能满足 系统的实时性要求。等人 在 三线程的基础上添加语义分割和稠密语义地图构建线程，把分割图上存在一定数量动态点的对象视为动态目标，最终建立八叉树地图，但仅把人当做潜在的运动目标，与现实场景不符。等人 利用语义分割辅助对极几何约束检测环境中的运动信息，在 跟踪线程前添加语义光流动态特征检测和剔除模块，实现语义和几何的紧耦合约束。等人 提出运动概率传播模型，将几何模型和语义第 卷第 期 年 月计 算 机 应 用 研 究 分割结果转换为观测概率，用贝叶斯更新关键点的运动概率，剔除 潜 在 运
6、 动 概 率 高 的 关 键 点。等 人 提 出 ，基于 添加动态目标检测和背景补偿模块，利用 语义分割潜在运动物体。等人 提出 ，在初始化时利用 分割图像帧，仅利用位于静态背景区域的绝对静态点进行相机位姿初始化，重点研究了双目和 相机模式，利用光流法和重投影误差区分静点和动点，在高动态场景下提高了位姿估计的精度。等人 针对室内动态环境在 的基础上引入 语义分割网络区分图像背景区域和潜在动态区域，用背景区域的匹配点极线约束定位潜在动态区域上的静态点，并利用深度图的集合信息对原始语义分割掩膜进行修正，但该方法只能适用于室内环境深度相机模式，绝大多数场景不适用对环境条件要求严格的深度相机。常规基于
7、深度学习的方法顺序分割所有普通帧或关键帧，跟踪线程需要等待耗时最长的语义分割结果，导致系统的运行速度很大程度上受深度学习网络的限制。针对常规基于语义分割的动态 存在的语义分割阻塞问题，等人 基于 的 方案，添加并行运行的语义线程和基于语义的优化线程，语义分割线程采取每次从关键帧序列中选取最前和最后两帧进行分割的策略，跟踪线程不再需要等待每帧的语义分割结果，在一定程度上减轻了跟踪线程的阻塞问题。然而该分割策略会随时间累积未知语义信息的关键帧数目，导致语义信息更新慢，容易误判特征点动态性，存在较大累积误差的问题。针对语义分割网络模型规模大、比较耗时且难以满足实时性要求的问题，等人 基于 设计基于轻
8、量级目标检测网络 的动态目标检测线程，但目标检测得到的候选框包含大范围背景图像，无法精确分割动态目标轮廓，尽管额外添加了光流处理解决框内动态特征识别的问题，但在检测框内仍然容易出现动态误判点。等人 将环境中的动态元素分为短期动态和长期动态两类，为减少 语义分割网络计算量，只对关键帧进行语义分割，普通帧则通过粒子滤波跟踪前一关键帧的动态目标位置，该策略在一定程度上提升了 系统的实时性。综合相关研究，几何法动态 原理简单，常用于静态或低动态环境 处理少量噪声特征点。典型基于深度学习的方法引入 和 等语义分割和目标检测网络识别潜在运动物体，利用静态背景上特征进行跟踪和建图，避免了动态物体引发的特征误
9、匹配和包含大误差的数据关联。无论是几何法处理动态特征还是典型基于深度学习的动态 方案存在以下问题：）单纯基于几何的动态特征处理方法只能应对包含少量动态点的场景，且无法利用图像的高级语义信息协助判断动态物体和建立包含语义信息的高级地图；）由于深度学习网络规模较大，无差别对所有图像帧进行分割计算会导致跟踪线程长时间等待语义信息的阻塞现象，不能满足 系统运行实时性要求，且难以分辨分割轮廓边缘特征点动态性。未知动态环境下性能最优的动态目标处理方式因环境特性而不同，当机器人运行在动态性较低的环境中，无差别语义分割所有图像帧对计算资源造成浪费，而高动态环境下纯几何方法缺少的语义信息无法处理大范围运动物体，
10、因此需要在不同环境下通过语义分割协同几何方法识别运动目标和异常噪声点。为了使机器人在 过程中能够感知运行环境的动态性，根据所处环境自适应选择合理的动态特征处理策略，设计了基于对极几何的场景动态分级前端，系统根据当前运行环境的动态级别自适应执行基于累积运动概率的低动态场景特征处理策略和基于语义分割的高动态场景运动目标处理算法，通过更新地图点运动概率的方式传递动态信息，减少地图点动态性的误判，根据动态性自适应语义分割降低了分割网络对 系统实时性的影响，改进的 算法在保证机器人定位精度的前提下减少了语义分割计算量，提升了系统的定位精度、实时性和鲁棒性。算法流程本文提出的动态 算法是基于 设计的，系统
11、框架如图 所示。典型的 由跟踪线程、局部建图线程和闭环检测线程三个线程组成。理想情况下，提取相机输入图像帧的 关键点并计算 描述子，由此组成的 特征点提取速度快，具有良好的旋转不变性和亮度鲁棒性。跟踪线程通过特征匹配，计算图像帧间的相对变换，估计相机位姿；局部建图线程处理跟踪线程传递的关键帧，生成新的地图点并剔除冗余关键帧；闭环线程通过检测闭环，判断机器人是否回到之前到过的位置，根据闭环检测结果进行全局 优化。图 系统框架 在跟踪线程前添加场景动态分级前端，跟踪线程融入动态目标检测和动态地图点优化剔除处理。动态分级前端提取上一帧图像的 角点，通过光流法加速匹配当前图像帧角点，由前后两帧图像的匹
12、配角点计算得到初步基础矩阵，利用对极几何约束计算匹配角点的运动一致性，根据匹配角点的动态率划分当前所处环境为高动态或低动态。高动态环境中存在较大的运动目标，通过语义分割 图引入高级语义信息识别显著动态物，获得图像中运动物体的种类和位置。高动态场景语义分割后和低动态场景用几何约束和随机样本一致性（，）剔除少量动态特征和噪声点，同时不断更新地图点的运动概率。若检测运动概率更新后的地图点为动态，在跟踪优化阶段进行删除。剔除异常动态特征点和地图点后再进行后续的位姿估计和后端优化，实现 在动态环境下的稳定运行。基于动态分级的自适应运动目标处理 算法 基于对极几何的场景动态分级机器人定位和建图过程中相机拍
13、摄相邻两帧图像时间间隔很短，帧率 拍摄的两帧图片时间仅相差 ，可以满足光流法的灰度不变假设。为加快场景动态分级速度，采用光流法跟踪相邻两帧图像的 角点，快速得到前后帧的角点匹配关系，根据匹配关系计算相机运动基础矩阵 。对极几何约束是相机模型中同一空间点在两帧图像的投影满足的几何关系。图 是相机运动过程中在不同位姿下拍摄的两个图像帧，、分别是两帧图像的相机中心，假设相机 是由相机 经过旋转 再平移 变换而来，点是空间中可以被相机 观测到的一个三维空间点，由于 点位计 算 机 应 用 研 究 第 卷于运动物体上，在相机 时刻 点运动到 处，点在 图像的投影点为 ，（第 帧图像中第 个特征点），点在
14、图像中成像点为 ，。根据对极几何约束，理论上静态的 点在 图像帧中的投影点 ，应该位于极平面 和图像平面的交线（极线），上，实际由于观测误差或空间点 发生运动，运动后的 在 图像帧中的投影为 ，不再位于极线 ，上。记第 帧图像第 个匹配角点对应极线为 ，（，），为极线直线方程一般式的系数，则第 帧图像上第 个匹配角点 ，到极线 ，的距离为 ，。，槡（）图 对极几何 这一指标可以用来判断图像特征点的运动一致性，动态对象上的角点由于在不同时刻的空间位置发生了变化，经过相机成像投影的关键点不再位于相应的极线上，计算匹配角点到对应极线的距离判断角点的运动稳定性，把角点划分到外点集合 和内点集合 ，计算
15、外点率 ，如果存在大量匹配角点不满足极线约束，表明机器人当前所处环境运动较为无序，环境具有显著动态性，图像帧属于高动态场景序列，否则划分当前场景为低动态。高动态 低动态 （）外点率 （），内点率 （），为满足极线约束的内点个数，为不满足极线约束的外点个数，为环境动态性判断阈值，在不同动态场景数据集中多次实验得到经验值 ，部分 取值下各数据集动态帧数实验结果如表 所示，“高”表示判断数据集中处于高动态环境的图像帧数，“低”表示划分数据集中处于低动态环境的图像帧数。表 不同 值数据集高低动态判断实验 数据集 高低高低高低 基于极线约束和累积运动概率的低动态场景处理当环境中没有或只有少量的运动目标时
16、，前后两帧图像存在少量不满足极线约束的动态外点，判断当前所处环境属于低动态场景，此时使用 经过多次迭代可以计算得到可靠的基础矩阵 。提取当前图像帧的 特征点，假定相机短时间内恒速运动把上一帧图像的 特征投影到当前帧加速特征匹配，得到前后两帧图像的特征匹配关系 。前一帧第 个特征点和当前帧第 个特征点匹配 其他第 帧图像第 个特征点和第 帧图像第 个特征点成功匹配，计算两帧图像匹配特征的相互投影极线 ，和，上一帧图像特征点 ，对应的极线为 ，（，）（，），当前帧图像特征点 ，对应极线为，（，），计算匹配特征点到对应极线的距离 ，和 ，（如图 中红色标注），并计算相互投影极线的距离和 ，根据投影距
17、离判断特征点的动态性 ，（），槡（），槡（），表示特征点 ，和地图点 相关联。若 （根据 单向投影极线距离阈值的经验值 ，设置双向相互投影极线距离阈值 ），判断 ，为动态特征，则，关联的地图点 的动态观测次数 加；否则，关联地图点的动态观测次数减，设计地图点的累积运动概率属性为 （）通过累积运动概率的方法融合地图点长期动态观测信息，避免单次观测误差导致的误判，提高地图点动态判断的鲁棒性，当地图点的运动概率大于阈值 （即累积动态观测次数大于静态观测次数 次）时，设置地图点为动态外点，不参与位姿估计，在后续跟踪过程中优化剔除。基于语义分割的高动态场景运动物体处理高动态环境中存在大量或较多的运动目标
18、，运动物体上存在聚集的不稳定特征点，而 只能处理异常数据占少数的情况。设特征内点率为 ，则八点法迭代 次至少一次得到可靠基础矩阵的概率为 （），若要依概率 计算得到正确的基础矩阵，需要迭代次数 （）（）。假设依概率 计算可靠基础矩阵，则迭代次数和内点比例 的关系如图 所示，当内点比例减小，计算可靠基础矩阵的迭代次数急剧增加，当内点比例为 时，平均需要迭代 次才能以 的概率求得正确的基础矩阵，且当内点比例小于 时，方法会失效，无法求得真实相机位姿变换。图 内点比例迭代次数 图像深度学习中的目标检测不能满足 判断像素级特征点精确位置动态信息的需求，语义分割和实例分割可以分割得到相对精确的物体轮廓，
19、帮助理解每个像素的种类信息。虽然实例分割能够进一步区分同一类别的不同个体，但更高级别的任务也导致计算耗时的增加。语义分割网络是由剑桥提出的语义分割网络，网络编码部分使用 的前 层卷积网络结构，解码网络将编码器计算得到的特征图从低分辨率反卷积得到和原尺寸一致的分辨率，最后使用 类 分类器预测每个像素的类别。选择 进行物体分割，事先用 数据集训练网络，可以识别包括人、车、桌子、椅子、显示器等 种物体，把人、车和动物作为潜在运动目标，沙发、电视等作为静态物体，如图 所示。动态分级模块判断当前环境为高动态，图像中存在较大运动目标，提取当前图像帧 特征，用恒速跟踪模型加速特征第 期王富强，等：基于动态分
20、级的自适应运动目标处理 算法匹配，同时把 图传入语义分割线程分割得到相同尺寸的语义分割掩膜。用位于静态物体和背景图像上的绝对静态点计算初步基础矩阵，为保证跟踪质量，尽可能保留更多的静态点，用绝对静态点计算的基础矩阵检验分割出的潜在运动目标上的疑似动态点，如果潜在运动物体上的特征点为静态，认为潜在动态目标在此刻没有运动，保留特征点为静态特征，对应地图点的动态观测次数保持不变。剔除存在动态特征的潜在运动目标上的 特征点，更新动态特征关联地图点的动态观测次数，保留经过筛选的静态特征 计算基础矩阵，为防止语义分割轮廓边界特征和个别异常特征的动态性出现误判，再采用低动态场景下基于对极几何相互投影极线的方
21、法判断剩余特征点的动态性，更新两种方式判断的动静特征关联地图点的累积运动概率，得到可靠的静态匹配特征和地图点用于下一步的相机位姿估计和非线性优化，保证 系统在动态环境中稳定运行。图 图像帧和分割 算法 自适应运动目标处理 输入：第 和第 帧相邻图像。输出：第 帧图像稳定内点。光流匹配前后帧 角点，计算粗略基础矩阵 判断环境动态等级 、提取当前帧 特征集合 语义分割当前帧图像，得到动态掩膜 判断潜在运动物体的动态性，得到修正的动态掩膜剔除特征 ，得到 ，根据 特征点，用 计算得到准确基础矩阵 根据相互投影极线距离 判断特征点动态性 （，）（）更新地图点 的动态观测次数 和累积运动概率 ；（，）更
22、新地图点 的动态观测次数 ；（，）实验与分析为检验提出方法的有效性，将设计的动态环境下自适应运动目标处理 算法分别于改进前的 算法和目前表现较为优秀的几种动态 算法作对比。在公开数据集 上进行实验测试，该数据集包含一系列现实场景拍摄的图像集，并提供相机拍摄过程中的真实运动轨迹。选取 数据集中四个经典的静态和动态场景序列，图像序列是静态场景，由相机在一张静态的办公桌前沿 方向移动拍摄所得。图像序列是低动态场景，相机沿 方向拍摄，有两位工作人员坐在桌子前交谈并伴随打手势。图像序列是高动态场景，相机在拍摄过程中保持静止，环境中有人来回走动。图像序列是高动态场景，相机在拍摄过程中沿 方向移动，伴随有两
23、个人来回走动。实验过程中的硬件为个人计算机，主要参数 为酷睿 ，为 内存 ，操作系统为 。用 数据集中的图像恢复不同动态环境下相机拍摄过程，在相同条件下多次运行得到 算法、本文改进的 算法以及其他改进算法的定位结果，分别与数据集提供的轨迹真值进行对比得到算法的定位精度和运行时间数据。评价指标采用绝对轨迹误差（，），相对位姿误差（，）和每帧图像的平均跟踪时间（，）作为评价 定位精度和实时性的指标。是在运动过程中每一时刻的相机估计位姿和该时刻相机真实位姿的绝对误差，用于评价 系统的定位精度。包括旋转相对位姿误差和平移相对位姿误差，是单位时间内位姿变化的差值，用于评价 系统的漂移。是平均每帧图像的跟
24、踪时间，用于评价系统的时间效率。定位精度评估 与 比较分别在四个 数 据 集 上 运 行 和 。作为公认经典和稳定的特征点法 系统，在静态世界假设条件下表现出优异的效果。以下展示了在静态数据集序列 和动态数据集序列 中的运行结果对比图。静态序列 中 和 的运行结果如图 所示，高动态场景序列中两种 算法运行结果如图 所示。图中黑色线表示相机真实运动轨迹，蓝色线是 计算的相机运动轨迹，红色线表示每一帧时刻相机的绝对偏差。从图 、的 轨迹图可以看出，在静态环境中可以得到比较准确的相机估计运动轨迹，然而当场景中存在动态目标时，绝对轨迹误差最大处达到 以上，位姿估计出现严重偏差，机器人视觉定位失败。本文
25、 不仅能在 低动态环境中计算得到准确的位姿，在 高动态序列中依然能够稳定运行，计算得到和相机真实运动轨迹接近的预测运动轨迹。图 数据集 ，运行结果 定量评估算法的各项指标，表比较了 和 的绝对轨迹误差 。结果表明 鲁棒性很差，在高动态场景中受运动物体影响较大，导致定位效果急剧计 算 机 应 用 研 究 第 卷下降，高动态序列的平均绝对轨迹误差达到 。在低动态场景下定位精度相比 提升效果不明显，在 和 场景定位精度分别提升 和 ，是因为 在低动态环境已经达到了较高的定位精度，可提升空间不大；在高动态环境中 的定位效果提升显著，和 场景的平均绝对轨迹误差分别降低了 和 。表 对比了 和 的平移相对
26、位姿误差，实验结果表明，相较于 估计位姿的相对位姿平移漂移量显著下降，尤其在高动态环境中漂移分别下降 和 。表 对比了 和 的旋转相对位姿误差，实验数据表明，针对指标旋转相对位姿误差，相比 ，本文 在高动态环境下有显著的定位提升效果，和 序 列 的 旋 转 相 对 位 姿 误 差 降 低 了 和 。图 数据集 、运行结果 表 和 绝对轨迹误差（）对比 （）序列 表 和 平移相对位姿误差对比 序列 表 和 旋转相对位姿误差对比 序列 与其他动态 算法比较近年来相关学者对动态环境下视觉 进行了研究，为验证本文算法的有效性，将 算法与目前表现较为优秀的几种动态 算法 、和 进行对比如表 所示，表中比
27、较了几种动态 算法定位绝对轨迹误差（）的均方根误差（），“”表示文献中没有对应数据集的运行结果，由表中结果可得，在 和 场景中，本文 算法取得了最佳的定位效果，在 和 场景中，本文算法相比 、和 具有更小的定位误差，的定位效果略好于本文算法，但差距很小效果相当，原因是数据集中的动态目标主要是人，而 算法直接将人上特征点删除，在该数据集上效果表现较好，但当环境中存在其他类别移动物体时效果会下降。实时性评估对提出的动态 算法和普通语义分割 算法运行实时性进行比较。文献 中 在 和 数据集的平均每帧跟踪时间分别为 和 ，平均运行耗时接近 的 倍。表 给出了 算法和 语义分割 算法在同一计算平台平均每
28、帧图像的跟踪时间。实验结果表明，本文 算法在运行效率上提升效果明显，无论在高动态环境还是低动态场景，每帧图像的跟踪时间差异性很小，平均 。本文 实时感知环境动态性，在不同动态环境下的自适应处理策略有效提升了系统的运行时间效率，在低动态场景序列 的运行速度相比 提升了 ，序列 的实时性提升了 ，在高动态场景，序列 和 的实时性对比 分别提升了 和 。表 和其他动态 绝对轨迹误差（）对比 序列 综合算法的定位精度和实时性，在动态未知的复杂动态环境下，本文提出的 算法相较于 和动态第 期王富强，等：基于动态分级的自适应运动目标处理 算法 、等算法，不仅显著提高了机器人 定位的精度，而且相比常规语义分
29、割动态 算法在运行实时性上取得了明显的改善，提升了 系统的精度、鲁棒性和实时性。表 和 平均跟踪时间对比 序列 结束语针对复杂动态环境下视觉 定位精度低、鲁棒性差的问题，本文提出基于场景动态分级的自适应多策略同时定位与建图算法 。首先根据对极几何约束实时判断运行环境为高动态和低动态场景，在高动态场景语义分割协同极线约束剔除动态目标上大量动态特征点和少量异常噪声点，在低动态场景引入极线约束剔除少量的动态外点，更新维护地图点的累积运动概率，消除了动态特征和地图点对相机位姿估计的影响。在公开数据集 上对算法进行了验证，实验结果表明本文算法在未知动态环境下的定位精度和鲁棒性有显著提升，且相比仅语义分割
30、的 算法，算法的实时性得到了改善。下一步工作，将进行复杂动态环境下的高精度地图构建和维护。参考文献：，：，（）：，：，：，：，：，：，：，：，（）：，（）：，：，（）：林凯，梁新武，蔡纪源基于重投影深度差累积图与静态概率的动态 算法 浙江大学学报：工学版，（）：（，：，（）：）魏彤，李绪动态环境下基于动态区域剔除的双目视觉 算法 机器人，（）：（，（）：）何召兰，何乃超，张庆洋，等基于实例分割的视觉 算法 计算机工程与设计，（）：（，（）：），：，：，：，：，：，：，：，：，：，：，（）：，：，（）：，：，：，：，：，：，：，（）：，：，（）：，：，：（上接第 页），（）：，（）：，（）：，？，：，：，：，（）：（）：，：，：，：计 算 机 应 用 研 究 第 卷
