1、第 11 卷 第 1 期 导航定位学报 Vol.11，No.1 2023 年 2 月 Journal of Navigation and Positioning Feb.，2023 引文格式：李凯林，李建胜，王安成.GNSS/INS/视觉组合导航数据融合研究探讨J.导航定位学报,2023,11(1):9-15.（LI Kailin,LI Jiansheng,WANG Ancheng.Discussion on development of GNSS/INS/Visual integrated navigation technology and data fusionJ.Journal of N
2、avigation and Positioning,2023,11(1):9-15.）DOI:10.16547/ki.10-1096.20230102.GNSS/INS/视觉组合导航数据融合研究探讨 李凯林，李建胜，王安成（信息工程大学 地理空间信息学院，郑州 450000）摘要：为了进一步提高导航定位的可靠性、精度、连续性和完好性，融合各类可用导航传感器构成组合导航系统成为必然趋势；随着全球导航卫星系统（GNSS）终端、惯性导航系统(INS)器件和视觉传感器向模块化、小型化、低成本不断发展，GNSS/INS/视觉组合导航得到了广泛关注。分析其研究进展：通过介绍 GNSS/INS/视觉组合系统
3、的基本结构与原理，总结出 GNSS/INS/视觉组合系统关键技术发展现状及行业应用情况；然后梳理 GNSS/INS/视觉融合架构与典型算法；最后分析 GNSS/INS/视觉组合系统中当前存在的主要问题与发展趋势。关键词：组合导航；数据融合；时空同步；联邦滤波；图优化 中图分类号：P228 文献标志码：A 文章编号：2095-4999(2023)01-0009-07 Discussion on development of GNSS/INS/Visual integrated navigation technology and data fusion LI Kailin,LI Jiansheng
4、,WANG Ancheng（Institute of Geospatial Information,Information Engineering University,Zhengzhou 450000,China）Abstract：In order to further improve the reliability,accuracy,continuity and integrity of navigation and positioning,it is an inevitable trend to integrate various available navigation sensors
5、 into an integrated navigation system;furthermore,with the continuous development of global navigation satellite system(GNSS)terminals,inertial navigation system(INS)devices and visual sensors towards modularization,miniaturization and low cost,GNSS/INS/visual integrated navigation has received exte
6、nsive attention.The paper analyzed the research development:the basic structure and principle of GNSS/INS/visual integrated system were introduced,and the key technology development status and industry application of the integrated system were summarized;then the visual fusion architecture and typic
7、al algorithms were sorted;finally,the main problems and development trends in GNSS/INS/visual integrated system were discussed.Keywords:integrated navigation;data fusion;space-time synchronization;federated filtering;graph optimization 0 引言 随着综合定位、导航与授时（positioning,navigation and timing，PNT）体系1和弹性 P
8、NT 框架2的完善，多源 PNT 数据融合技术朝着智能融合和自适应融合不断发展。为了防止国防行动过分依赖于全球定位系统（global positioning system，GPS），早在 2010 年，美国就开始谋划国家综合PNT架构3，多源 PNT系统在美军的无人潜航器、无人机等无人自主平台上应用广泛4，是未来无人系统自主导航发展的重点方向。全球导航卫星系统（global navigation satellite system，GNSS）/惯性导航系统（inertial navigation system，INS）/视觉组合导航系统作为多源 PNT 系统的一种，单目相机和低成本惯性测量单元（
9、inertial measurement unit，IMU）的融合可以显著提高 GNSS 失效情况下的局部定位精度和鲁棒性，而 GNSS 定位有效时可以为视觉/惯导组合导航位置解算提供全局性 收稿日期：2022-03-31 第一作者简介：李凯林（1998），男，湖南娄底人，硕士研究生，研究方向为机器视觉与智能应用。通信作者简介：李建胜（1975），男，湖北钟祥人，博士，教授，研究方向为视觉导航、计算机视觉等。10 导航定位学报 2023 年 2 月 的定位轨迹修正，对研究低成本、高精度、高可靠性的导航方式具有重大意义。国内外对 GNSS/INS、INS/视觉 2 种传感器组合的研究已经比较成熟
10、，综述类文献比较多。文献5对 2009 年以前 20 年内非线性滤波理论所取得的成果进行了总结，且阐述了它们的优缺点及在组合导航系统中的应用情况。文献6对新近的GNSS/INS 自适应智能组合导航算法进行了分类并一一解析。文献7对基于滤波技术的视觉/惯性组合技术做了全面的介绍，特别是对滤波器的客观性和滤波状态的一致性进行了深入分析。文献8的研究中介绍了近年来发展迅猛的基于机器学习的视觉/惯性组合导航方法。GNSS/INS/视觉组合导航技术近年来取得了长足的发展，文献9对GNSS/INS/视觉组合导航系统的现状、架构、测量模型进行了全面的解析。国内在 GNSS/INS/视觉组合方面的研究相对较少
11、，这方面的综述性文献不多。本文首先介绍 GNSS/INS/视觉组合导航系统组成，其次从数据融合方式和算法框架等层面给出GNSS/INS/视觉组合导航技术目前的整体现状，最后分析 GNSS/INS/视觉组合导航技术当前所处阶段以及未来的发展趋势，以期在 GNSS/INS/视觉组合导航技术的系统层面和算法层面为后续研究提供参考。1 系统组成与工作原理 GNSS/INS/视觉组合导航系统按硬件结构可以划分为 GNSS 接收机、惯性测量单元、图像采集单元（相机）、时间同步电路和数据处理单元（如图 1 所示）。图 1 GNSS/INS/视觉组合导航系统组成 1.1 传感器组成 GNSS/INS/视 觉
12、组 合 导 航 系 统 的 传 感 器 由GNSS 接收机、惯性测量单元和图像采集单元（相机）3 个部分组成。GNSS 接收机在空旷环境下可以解算载体的位置、速度和航向，也能够输出伪距、伪距率、载波相位等观测量。一般而言，其输出频率不超过 10 Hz，在组合系统中输出频率最低。惯性测量单元由三轴陀螺仪和三轴加速度计组成，直接输出惯性坐标系下的三轴角速度和比力测量值。惯性测量单元作为组合导航的核心单元，输出频率最高，一般为 50、100、200 Hz 甚至以上10。图像采集单元即为一般意义上的相机，由视角数分类，有单目、双目、全向相机等。相机用来提供对应时刻的图像，为后续位姿估计提供原始数据。一
13、般的相机输出频率可达 20 Hz。在 3 种传感器中，由于相机和 IMU 的输出频率较 GNSS 更大，因此在局部或短期内，利用相机和惯导的组合可以提供精度更高的定位定姿结果。1.2 组合导航系统时空同步 在 GNSS/INS/视觉组合导航系统中，由于 3 种传感器具有不同的采样电路和输出频率，需要时间同步电路实现数据之间严格的时间同步。时间同步的主要目的是为了避免数据融合时产生较大的时间偏移，导致系统发散，因此需要将传感器输出数据的时间戳统一到同一时间参考系下。除了硬件上的时间同步，在软件层面上，需要对传感器进行空间同步。空间同步的过程就是组合导航系统的初始化过程，用以确定各传感器坐标系之间
14、的旋转平移关系。对于 GNSS/INS/视觉组合导航而言，需要同时确定 GNSS 和惯导的杆臂值以及相机和惯导坐标系之间的相机-惯导外参数。1.3 数据融合框架 数据融合处理单元在硬件选择上往往是一台计算能力可观的上位机，用来对经过时间同步后的传感器数据进行融合，具体的融合框架视使用的算法结构而定。目前主流的算法框架有滤波和图优化 2 种。1）基于滤波的算法框架。一般的拓展卡尔曼滤波（extended Kalman filter，EKF）用来解决组合导航功能系统非线性的问题。EKF 通过将所有过去状态边缘化，只估计当前状态来获得实时性能。GNSS/INS/视觉组合的卡尔曼滤波器与 GNSS/I
15、NS、INS/视觉 2 种传感器组合的不同之处在于涉及子滤波器和主滤波器的设计。文献11在分析视觉辅助的 INS/GNSS 导航系统在动态场景下的特性时按照并行式将系统分为 2 个子滤波器，经第一级滤波后得到子滤波器 1 和子滤波器 2 的状态量X1、X2和协方差矩阵P1、P2。第一级滤波表达式为 第 1 期 李凯林，等.GNSS/INS/视觉组合导航数据融合研究探讨 11 /,/TT/T/,/()()()k kk kkkk kk kkkkk kkk kkkk kkkk kk kkk kkkkkk k-=+-=+=+=-XXXXKZHXKPHHPHRPPQPIKHP11111111111111
16、1?（1）式中：下标k为时刻；X?为状态量；K为卡尔曼滤波增益；P为协方差矩阵；I为单位阵；H为状态变量到观测的转换矩阵；Z为观测量；为状态转移矩阵；Q为过程激励噪声协方差。第二级滤波，即信息融合，融合过程的表达式为 ,()()gkkggkkkk-=+=+PPPXPPXPX11112111122?（2）式中：下标g表示主滤波器；下标中 1、2 分别代表 2 个子滤波器。利用融合结果重置子滤波器，进行时间更新。仿真结果表明，整体定位误差控制在 6 m以内。在子滤波器的算法选择上，GNSS/INS组合除了EKF之外，还有能够有效解决显著动态模型误差问题的模型预测滤波器（models predictive filter，MPF）算法12、以近似非线性函数的概率分布为核心思想的无迹卡尔曼滤波（unscented Kalman filter，UKF）算法13和基于贝叶斯采样估计的顺序重要采样滤波方法粒子滤波（particle filter，PF）算法14等等。相比于EKF，MPF能够通过模型误差实时调整系统模型，UKF在处理强非线性系统时具有更高的稳定性和滤波精度，PF不受高斯模型以及非线性的限
