1、 445 收稿日期:20220120;修回日期:20230207 北京大学学报(自然科学版)第 59 卷 第 3 期 2023 年 5 月 Acta Scientiarum Naturalium Universitatis Pekinensis,Vol.59,No.3(May 2023)doi:10.13209/j.0479-8023.2023.033 三维摄影条件下视差角光束法平差模型 的适用性研究 左正康1,2,3 晏磊1,2,孙岩标4 赵红颖5 张瑞华5 孙嘉玉5 刘思远5 王强6 孙逸渊5 1.广西高校无人机遥测重点实验室,桂林航天工业学院,桂林 541004;2.空间信息集成与 3S
2、 工程应用北京市 重点实验室,北京大学,北京 100871;3.大势智慧科技有限公司,武汉 430000;4.天津大学精密仪器与光电子 工程学院,天津 300072;5.地球观测与导航教育部工程研究中心,北京大学,北京 100871;6.天津师范大学 地理与环境科学学院,天津 300387;通信作者,E-mail: 摘要 为了论证视差角光束法平差模型在短基线摄影条件下的适用性,将视差角光束法平差(PBA)模型中基于二维假设的数学证明扩展到三维,研究视差角参数对观测噪声的敏感性、法方程奇异性以及线性化程度,并基于 2.111082.111012弧度的小交会角的短基线摄影条件进行仿真和真实实验。理
3、论分析和实验结果表明,目前的 PBA 模型仅适用于二维摄影,不能解决三维摄影条件下短基线的平差问题。关键词 短基线;视差角光束法平差;三维摄影条件;数学证明 Applicability Study on Parallax Bundle Adjustment in 3D-Photography ZUO Zhengkang1,2,3,YAN Lei1,2,SUN Yanbiao4,ZHAO Hongying5,ZHANG Ruihua5,SUN Jiayu5,LIU Siyuan5,WANG Qiang6,SUN Yiyuan5 1.Guangxi Key Laboratory of Remote
4、 Measuring System,Guilin University of Aerospace Technology,Guilin 541004;2.Beijing Key Laboratory of Space Information Integration and 3S Application,Peking University,Beijing 100871;3.Dashi Intelligent Technology Co Ltd,Wuhan 430000;4.School of Precision Instrument and Opto-Electronics Engineering
5、,Tianjin University,Tianjin 300072;5.Engineering Research Center of Earth Observation and Navigation,Peking University,Beijing 100871;6.School of Geographic and Environmental Sciences,Tianjin Normal University,Tianjin 300387;Corresponding author,E-mail: Abstract In order to study the applicability o
6、f the Parallax Bundle Adjustment(PBA)in the 3D-photography,the authors extend the mathematical proof of the PBA model which is based on the two-dimensional hypothesis,to three dimensions with respect to the sensitivity of parallax angle to observation noise,the singularity of the normal equation,and
7、 the degree of linearization.Furthermore,with a set of narrow intersection-angles(2.11108 to 2.111012 rads),the 3D-scenes in short-baseline photography are simulated,and employed to verify the proof.Theoretical analysis and experimental results demenstrate that the current version of PBA is only sui
8、table for the 2D-photography,but not suitable to solve the short-baseline problem in the 3D-photography.Key words short-baseline;parallax bundle adjustment(PBA);three-dimensional photography condition;mathe-matical proof摄影测量指基于图像重建三维场景1。目前,商业软件或开源库中有许多典型的摄影测量软件,例如 Metashape2,Pix4D3,DPGrid4和 TOPGrid5
9、是摄影测量界的主流商业软件。此外,VisualSF-M6,OSM Bundler710,Microsoft Photosynth11,Photosynth Toolkit(Photosynth+CMVS/PMV-S2),Autodest 123D Catch12,SFMToolKit13,CMP-MVS14,ARC 3D Webservice15,Meshroom16以及3Dflow17是研究人员广泛使用的开源库或 Web 服务。还有许多公开可用的独立光束法平差包,如北京大学学报(自然科学版)第 59 卷 第 3 期 2023 年 5 月 446 SBA18,sSBA19和 g2o20,它们被
10、认为是摄影测量软件的核心模块,用于估计特征点的位置和相机 姿态。在光束法平差的模型实现过程中,这些摄影测量软件都采用空间直角坐标(XYZ)来参数化特征点(XYZBA)。赵亮等2122和孙岩标等2325认为 XYZ-BA 无法解算短基线摄影条件下的平差网。2012 年,赵亮等2122提出视差角光束法平差(parallax bundle adjustment,PBA)模型,用 3 个角度(方位角、高度角和视差角)替代 XYZ 坐标,对特征点进行参数化,并在二维摄影条件下完成视差角参数对观测噪声的敏感性数学证明,得到“PBA 中的视差角参数不受观测值初始误差影响”的结论。2015 年,孙岩标 等23
11、25在二维的摄影条件下,对 PBA 模型的法方程奇异性进行数学证明,得到“PBA 模型的法方程系数矩阵的行列式为 1,法方程永远正定”的结论。众所周知,真实的摄影条件是三维的,赵亮 等2122和孙岩标等2325在二维摄影条件下的数学证明需要在三维条件下进行进一步论证。本文聚焦于三维摄影条件下视差角参数对观测噪声的敏感性、法方程奇异性和线性化程度等的数学证明,并在 2.111082.111012弧度的小交会角的短基线摄影条件下进行实验验证。1 PBA模型 PBA 模型2122用 3 个角度(方位角、高度角和视差角)来参数化三维目标点的地理位置,即 Fj=(i,i,i),如图 1 所示。三维目标点
12、 Fj=i i i到二维像点 x,y之间的投影关系的观测方程为 mm,1,jijiijxty 相机为主相机时相机不是主相机时KR xKR x(1)其中,K 为内参矩阵;Rm 与 Ri 分别为主相机与相机 i的旋转矩阵;tji为缩放因子;xjm为相机 tm 到达目标点 Fj的单位向量:mcossincoscossin;iijiiix(2)xji 为相机 ti 到达特征点 Fj的向量:mm 1,ijjjdxxt t(3)其中,dj 是特征点 Fj 在相机 tm 中的深度,djxjm 为相机 tm 到达特征点 Fj 的向量,m 1t t 为相机 tm 到相机 ti的向量。深度 dj 可表示为 m a
13、sin()|sin,iijidt t 其中,m a|t t为相机 tm 到相机 ta 的向量模长,j 为m at t到观测向量mjt F的转角,利用如下内积公式 计算:mm am aacos|jjt tt t。x 图 1 视差角参数化的目标点2122 Fig.1 Feature point parameterized by parallax angle 2122 左正康等 三维摄影条件下视差角光束法平差模型的适用性研究 447 为了不引入分母,将式(3)左右两边同乘以 sin i,则ij x=sin ixji。2 数学证明 本文在三维摄影条件下,分别从理论上证明PBA 模型中视差角参数对观测噪
14、声的敏感性、PBA模型的法方程奇异性和线性化程度。2.1 视差角参数对观测噪声的敏感性 2.1.1 二维摄影条件 二维摄影条件指 Z 坐标为 0 的相机与目标点构成的观测几何,如图 2 所示。赵亮等2122从二维的摄影条件出发,将目标点的视差角作为观测误差的函数进行分析。在图 2 中,一个目标点被不同的两个相机位置观测到两次。两个相机的姿态角(二维的摄影条件即方位角)分别为 i 和 j,对特征点的两次观测角分别为 i 和 j,观测误差是均值为 0,方差为 2的高斯误差i和j。目标点在全局坐标系中的观测角分别为 i+i和 j+j。假设是视差角真值,是视差角计算 值,则 ()()jjii,(4),
15、()jjiiji(5)因此,1,/i (6)图 2 二维摄影条件2122 Fig.2 Two-dimensional photography condition 2122 /1j。(7)因此,赵亮等2122认为 PBA 模型中的视差角参数 不受观测值初始误差的影响。2.1.2 三维摄影条件 图 3 是三维摄影场景,相机对目标点的两次观测角分别是i,i与j,j。假设观测角的真值为ii和jj,观测误差是均值为 0,方差为 2与 2 的高斯误差,ii与,jj,视差角 对应的二面角为=i j,则视差角 在三维摄影条件下可参数化为 图 3 三维摄影条件 Fig.3 Three-dimensional p
16、hotography condition 北京大学学报(自然科学版)第 59 卷 第 3 期 2023 年 5 月 448()0()acos(sinsincoscoscos)0,ijijijij 。(8)可以发现,当=0,时,视差角在三维摄影条件下的参数化形式与二维摄影条件相同,可由其他角度线性表达。然而,当 0,时,视差角在三维摄影条件下的参数化形式变为非线性表达式。在图3的三维摄影条件下,视差角的真值为 acos(sinsincosco,osc s)ijij(9)视差角的计算值 为 acos(sin()sin()cos()cos()cos()iijjiijj。(10)关于观测高度角误差i和j的偏导数为 cos()sin()sin()cos()cos()/sin(),iijjiiijj sin()cos()cos()sin()cos()/sin()iijjiijjj 。关于观测方位角误差?和?的偏导数为 cos()cos()sin(n,)si()iijji cos()cos()sin()sin()iijjj。可以发现,当视差角真值接近 0 时,/i,/j,/i,/j。意味着在图 3
