1、引用格式:胡志新，梅紫俊，王涛，等 基于自适应窗口和改进 Census 变换的半全局立体匹配算法J 电光与控制，2023，30(3):33-37 HU ZX,MEI Z J,WANG T,et al Semi-global stereo matching algorithm based on adaptive window and improved Census transformJ Electronics Optics Control,2023,30(3):33-37基于自适应窗口和改进 Census 变换的半全局立体匹配算法胡志新，梅紫俊，王涛，曹刘洋(东华理工大学机械与电子工程学院，南昌
2、330000)摘要:针对基于 Census 变换的立体匹配算法匹配精度不理想、易受噪声干扰的问题，提出一种自适应窗口结合改进 Census 变换的方法。通过自适应选择变换窗口大小，并在 Census 变换中引入噪声容限参数，且将其改进 Census 代价与 RGB 颜色差值代价加权融合，再采用四路径代价聚合策略完成初始代价聚合，最后用 WTA 算法计算初始视差后通过后处理优化得到最终视差。实验结果表明所提算法误匹配率较低，抗噪性能有较好提升。关键词:视觉检测;立体匹配;自适应窗口;Census 变换;代价融合中图分类号:TP391 41文献标志码:Adoi:10 3969/j issn 167
3、1 637X 2023 03 006Semi-global Stereo Matching Algorithm Based on AdaptiveWindow and Improved Census TransformHU Zhixin,MEI Zijun,WANG Tao,CAO Liuyang(School of Mechanical and Electronic Engineering,East China University of Technology,Nanchang 330000,China)Abstract:Aiming at the problem that stereo m
4、atching algorithm based on Census transform has poormatching accuracy and is susceptible to noise interference,a method combining adaptive window withimproved Census transform is proposed The size of the transform window is selected adaptively,the noisetolerance parameter is introduced into the Cens
5、us transform to calculate the cost,and the improved Censuscost and RGB color difference cost are weighted and fused Then,the four-path cost aggregation strategy isadopted to complete the initial cost aggregation Finally,the WTA algorithm is used to calculate the initialdisparity,and the final dispar
6、ity is obtained through post-processing optimization The experimental resultsshow that the proposed algorithm has low mismatching rate and better anti-noise performanceKey words:visual inspection;stereo matching;adaptive window;Census transformation;cost fusion0引言立体匹配一直以来是三维视觉检测技术的研究重点，立体匹配可分为局部匹配和全
7、局匹配1，近年来出现的半全局匹配综合了两者的优点，既保证了匹配精度，又提高了匹配时效性1。立体匹配通常包括代价计算、代价聚合、视差计算和视差优化4 个步骤 2，其中，代价计算部分最为核心。常用的代价计算方法有平方差之和(SSD)、绝对误差和(SAD)与 Census 变换(CT)3 等。其中，Census 变换结构较为简单，对光照变化有较好鲁棒性，实际应用较多。收稿日期:2021-12-31修回日期:2022-08-29基金项目:国家重大科学仪器设备开发专项(2018YFF01011300);东华理工大学博士基金项目(DHBK2019173)作者简介:胡志新(1976)，男，湖北阳新人，博士，
8、教授。传统 Census 变换算法过于依赖变换窗口中心像素，且其匹配精度不高。门宇博4、刘建国 5、范海瑞6 等分别提出了各自的改进方法，不同程度地提高了匹配精度。但已有基于固定窗口的改进方法，并未考虑所选窗口的合理性，匹配精度仍存在提升空间。本文提出一种基于自适应窗口和改进 Census 变换的半全局立体匹配算法，不仅进一步提高了匹配精度，而且较好地增强了抗噪性。1算法描述所提算法主要分为以下4 个步骤:1)在代价计算阶段，将自适应变换窗口和噪声容限参数引入到 Census 变换中，并将改进 Census 代价和 RGB 颜色差值代价加权融合，且在两种代价中加入截断阈值;2)在代价聚合阶段，
9、采用4 路径半全局代价聚合策略对初始匹配代价进行聚合;3)在视差计算与优化阶段，采用赢家通吃(WTA)算法第 30 卷第 3 期2023 年 3 月电光与控制Electronics Optics ControlVol 30No 3Mar 2023计算初始视差;4)通过亚像素拟合、左右一致性检验、剔除小连通区、视差填充、中值滤波优化初始视差，输出最终视差图。1 1传统 Census 变换传统 Census 变换的原理是选取一个固定大小的矩形窗口遍历整幅图像，并选择窗口中心像素 p 的灰度值作为变换参考值，再将窗口邻域像素的灰度值逐个与参考值做比较，用 0 和 1 表示其比较大小关系7。经 Cen
10、sus 变换后，窗口内中心像素的灰度值会被编码成由 0 和 1 按位组成的二进制比特串。变换公式为TCensus(p)=qNp I(p)，I(q)(1)式中:TCensus(p)表示中心像素 p 经窗口变换生成的比特串;Np表示像素p 的邻域;I(p)为变换窗口内中心像素p的灰度值;I(q)为其邻域内像素 q 的灰度值;表示按位连接符;判定函数 表达式为 I(p)，I(q)=1I(q)I(p)0I(q)I(p)。(2)从上述传统Census 变换原理可知，其存在两个局限性问题。首先，传统 Census 变换窗口大小是固定值，无法根据图像灰度分布情况选取合适的匹配窗口，匹配准确性不高。若固定窗口
11、偏小，窗口内像素匹配信息不足，会增大弱纹理区域的误匹配率;若固定窗口偏大，即使包含了充足的像素匹配信息，在深度不连续区域也会产生少许噪点，且匹配时效性不高。其次，在传统 Cen-sus 变换选取中心参考值时，只考虑窗口中心像素的灰度信息，以其灰度信息作为变换参考值，过分依赖中心像素，当中心像素受到噪声干扰时，极易导致误匹配。1 2自适应窗口结合改进 Census 变换为规避上述问题，提出了相应的改进方案。首先，在 Census 变换之前，先以像素 p 为中心创建初始窗口，再根据该窗口内的像素灰度变化情况确定变换窗口的大小，利用其窗口内灰度均方差(p)选取窗口大小。灰度均方差公式为(p)=1NN
12、i=1 I(pi)M(p)2(3)式中:N 为初始窗口内像素的总个数;pi为窗口内各像素;I(pi)为窗口内各像素对应的灰度值;M(p)为初始窗口内灰度均值。根据在初始窗口内计算得出的灰度均方差，可以自适应地选择合理的变换窗口以解决固定窗口存在的缺陷2。若均方差较大，则表明窗口内灰度变化显著，容易产生部分噪点，应选择较小的窗口;反之，则表明窗口内灰度变化较为平缓，容易造成误匹配，应选择较大的窗口。通过文献 8 可知，9 9 大小的窗口比较适合传统 Census 变换。因此，选用9 9 大小的窗口为基准，设定 3 个均方差阈值 T1，T2和 T3，选择其附近不同大小的 4 个变换窗口，以此实现自
13、适应变换窗口的选取。设以像素 p 为中心的自适应窗口 WAdapt(p)，其变换窗口大小为WAdapt(p)=11 11(p)T19 9T1(p)T27 7T2(p)T35 5(p)T3。(4)其次，在像素 p 选取的自适应窗口基础上，计算其窗口内中心像素八邻域灰度均值 m(p)，并引入局部纹理反差值9 作为该窗口内的噪声容限变量，改进后中心像素灰度值 I(p)为灰度均值与噪声容限变量之和，即I(p)=m(p)+，的表达式为=(s1/n1 s2/n2)/(5)式中:s1表示变换窗口中灰度值大于等于整个窗口灰度均值的像素灰度累加值，n1为其像素个数;s2表示变换窗口中灰度值小于整个窗口灰度均值的
14、像素灰度累加值，n2为其像素个数;为归一化系数，本文将其设置为16。利用改进后的中心像素灰度值 I(p)构造出以下新的判定函数 I(p)，I(q)=1I(q)m(p)+0I(q)m(p)+。(6)在变换窗口中，若 I(p)I(p)15，则选用式(2)进行变换，否则选用式(6)进行变换。以 3 3 变换窗口为例，图1 展示了 Census 变换改进前后比特串变化情况。当窗口中心像素受到噪声影响时，传统 Census 变换输出的比特串会产生变化，而改进 Census 变换输出的比特串则保持不变。图 1Census 变换改进前后对比Fig 1Comparison of Census transfor
15、m beforeand after improvement1 3融合代价计算代价计算即通过相似性度量准则量化左右图像匹配像素点的相似程度。为进一步提升算法的抗噪性以43第 30 卷电光与控制胡志新等:基于自适应窗口和改进 Census 变换的半全局立体匹配算法及优化图像重复纹理区域的匹配效果，将在代价计算中引入图像固有的颜色信息，即将改进 Census 代价和RGB 通道颜色绝对差值(ACD)代价相融合，并在两者中引入各截断阈值，剔除离群值，从而降低噪声干扰，以提高融合代价的可靠性。改进 Census 变换后，当视差为 d 时，匹配像素 p 和p d 会对应生成比特串 TCensus(p)和
16、TCensus(p d)，并在计算其汉明距离时引入截断阈值 Tc，其改进 Census代价算式为CCensus(p，d)=min Hamming TCensus(p)，TCensus(p d)，Tc(7)式中:CCensus(p，d)表示视差为 d 时像素 p 的 Census 代价值;Hamming 表示为汉明距离;Tc设置为 9。其次，还需要计算对应匹配点 p 和 p d 间的 ACD代价，同时引入截断阈值 TACD，其 ACD 代价算式为CACD(p，d)=min13kRGBILk(p)IRk(p d)，TACD(8)式中:CACD(p，d)表示视差为 d 时像素 p 的 ACD 代价值;k 为图像的颜色通道;IL(p)为左图像中像素 p 的颜色强度;IR(p d)为右图像中对应像素 p d 的颜色强度;TACD设置为 10。最后，将两种匹配代价进行加权融合，其融合后代价算式为CInit(p，d)=CCensus(p，d)+(1 )CACD(p，d)(9)式中:CInit(p，d)为融合后的初始匹配代价;为权重因子。1 4代价聚合由于上述代价计算只考虑了单像素的局部相关信息，相邻