1、第 卷第期年月计算技术与自动化C o m p u t i n gT e c h n o l o g ya n dA u t o m a t i o nV o l ,N o J u n 收稿日期:基金项目:上海自然科学基金资助项目(Z R )作者简介:孙云鹏(),男,河南信阳人,硕士,研究方向:图像处理,视觉S L AM.通信联系人,E m a i l:x l l i d h u e d u c n文章编号:()D O I:/j c n k i j s j s y z d h 沿法线方向传播的深度图像补洞算法孙云鹏,李晓丽(东华大学 信息科学与技术学院,上海 )摘要:密集的深度信息在计算机视觉的
2、各种任务中有广泛的应用,然而深度相机在有光泽、透明、较远处的物体表面通常无法探测到深度信息,映射到深度图片上形成了大小不一的孔洞.因此,提出了一种沿法线方向传播的单一深度图像补洞算法.本文方法沿着物体本身的曲面变化进行扩散,把深度图片的补全问题转化成几何完成的问题.首先把 D的深度图像扩展到 D点云,然后 D点云沿着孔洞边界的法线方向向内收缩.收缩的过程中加入类似正态滤波器的约束函数来模拟深度的变化,使填充的点云更加适合整个物体的结构.最后把 D点云重新映射到 D图片上.本文的算法在NYU D e p t h v 数据集上进行测试,实验证明本文算法对孔洞的填充有较好的效果.关键词:深度图像;图
3、像修复;空洞填充;法线传播;几何完成中图分类号:T P 文献标识码:AD e p t hI m a g eH o l eF i l l i n gA l g o r i t h mP r o p a g a t i n gA l o n g t h eN o r m a lD i r e c t i o nS UNY u n p e n g,L IX i a o l i(C o l l e g eo f I n f o r m a t i o nS c i e n c ea n dT e c h n o l o g y,D o n g h u aU n i v e r s i t y,S h
4、a n g h a i ,C h i n a)A b s t r a c t:D e n s ed e p t h i n f o r m a t i o n i sw i d e l yu s e d i nv a r i o u s t a s k s i nc o m p u t e rv i s i o n H o w e v e r,d e p t hc a m e r a su s u a l l yc a n n o td e t e c td e p t hi n f o r m a t i o no ng l o s s y,t r a n s p a r e n t,a n
5、 dd i s t a n to b j e c t s u r f a c e s,s oh o l e so fv a r i o u ss i z e sa r e f o r m e do nt h ed e p t h i m a g e T h e r e f o r e,ad e p t hi m a g eh o l e f i l l i n ga l g o r i t h mp r o p a g a t i n ga l o n gt h en o r m a ld i r e c t i o ni sp r o p o s e di nt h i sp a p e r
6、 T h em e t h o d i nt h i sp a p e r s p r e a d sa l o n gt h e s u r f a c ec h a n g e so f t h eo b j e c t i t s e l f,a n dt r a n s f o r m s t h ep r o b l e mo f d e p t hc o m p l e t i o n i n t o t h ep r o b l e mo f g e o m e t r i c c o m p l e t i o n F i r s t l y,t h e Dd e p t h
7、i m a g e i se x p a n d e d t oa Dp o i n t c l o u d,a n dt h e nt h e Dp o i n t c l o u d i sc o n t r a c t e di n w a r da l o n gt h en o r m a ld i r e c t i o no f t h eh o l eb o u n d a r y I nt h es h r i n k i n gp r o c e s s,ac o n s t r a i n t f u n c t i o ns i m i l a r t oan o r
8、m a l f i l t e r i s a d d e dt os i m u l a t e t h e c h a n g eo f d e p t h,s o t h a t t h e f i l l e dp o i n t c l o u d i sm o r e s u i t a b l e f o r t h e s t r u c t u r eo f t h ew h o l eo b j e c t F i n a l l y,t h e Dp o i n t c l o u d i s r e m a p p e d t o t h e Di m a g e T
9、h e a l g o r i t h mi n t h i sp a p e r i s t e s t e do nt h eNYU D e p t h v d a t a s e t,a n dt h ee x p e r i m e n t ss h o wt h a t t h ea l g o r i t h mh a sag o o de f f e c to nh o l e f i l l i n g K e yw o r d s:d e p t hi m a g e;i m a g e i n p a i n t i n g;h o l e f i l l i n g;n
10、o r m a lp r o p a g a t i o n;g e o m e t r i cc o m p l e t i o n深度信息在自动驾驶、视觉S L AM、三维重建等方向上有重要的作用.过去几十年深度相机(如M i c r o s o f t K i n e c t、A S U S X t i o n P r o、I n t e lL e a pM o t i o n等)快速发展,已经能够获取大多数场景的深度信息,以深度信息为基础的各种系统和设备也已经广泛地使用了深度相机.然而由于深度的测量原理和物体表面特性的限制,深度相机采集的深度图片不可避免地出现噪声和缺失.对观计算技术与
11、自动化 年月测对象进行精确的密集深度感知是解决避障、检测或识别目标、重建三维场景等任务的前提,因此有必要对缺失的深度图像进行修复.深度图像修复是计算机视觉和图像处理领域的一个重要研究课题,在过去几年也受到了许多关注.C h e n等人根据深度图像和彩色图像的边缘信息,提出一种区域生长方法来检测深度值错误的像素点,然后将双边滤波(b i l a t e r a l f i l t e r)和区域生长技术相结合来填充孔洞.联合双边滤波算法无法准确估计滤波邻域范围和权重参数,王得成等人根据孔洞周围有效像素的占比确定滤波邻域范围,再通过邻域大小计算空间距离权重项参数,并引入结构相似度作为计算指标,从而
12、实现自适应计算每个孔洞像素点的滤波相关参数.L i u等人在快速行进方法(f a s tm a r c h i n gm e t h o d)的基础上加入颜色项作为权重来估计未知区域边界上像素的深度,并进一步采用了一种边缘保持的引导滤波器进行降噪.近年来,随着深度神经网络发展出更好的骨干网络、更丰富的训练标签、复杂的损失函数,基于数据驱动的深度图像修复算法取得了快速的进展.U h r i g等人提出了稀疏不变C NN来处理不同的输入深度稀疏性.M a等人 将稀疏深度和彩色图像的串联输入到编码器解码器深度网络中,并通过自监督学习进一步扩展.J a r i t z等人 仅改变NA S N e t网
13、络 最后一层即可同时完成深度补全和语义分割,该网络可以有效地处理各种密度的稀疏输入,而无须重新训练或任何额外的掩码输入.Z h a n g等人采用全卷积神经网络预测R G B图像的表面法线和遮挡边界,然后采用全局优化的方式得到补全的深度图像.此外,多尺度特征、不确定性探索、多模态融合策略等多种方法被用来提高修复深度图像算法的性能.上述方法都是利用R G B图片引导深度图片修复,在有高质量R G B图片的情况下这类算法修复性能很高.然而在黑暗条件下无法采集到R G B图片,当相机运动过快或者剧烈抖动时,采集的R G B图片的噪声较大,因此有些研究者着力于只使用深度图片修复缺失的像素点.Y a n
14、 g等人 利用连通度对深度孔进行聚类,通过分析相邻像素的深度分布为每个聚类指定一个深度值,并使用深度颜色交叉双边滤波器对初始深度图进行滤波来提高精度.X u e等人 把深度图像视为一个矩阵,像修复彩色图像一样采用低秩正则化补全深度图像,观察到部分梯度为的像素不可忽略,因此他们将低秩正则化与低梯度正则化相结合,提出了一种低秩低梯度正则化的方法.此外,一部分研究者将原本用于修复R G B图像的方法直接应用于修复深度图像.基于样例的方法 计算深度图片缺失像素周围纹理与未缺失像素点纹理的相似度,并复制相似度最高的纹理来直接填充孔洞.基于扩散的方法 利用孔洞周围像素点的梯度逐步传播深度值.利用机器学习的
15、方法来补全深度图片缺失的像素是近年来的热门,发展到现在许多补全算法误差很小.但是神经网络对硬件的要求较高,在嵌入式设备上很难运行.而且神经网络靠大量数据驱动,无法解释具体原理.因此本文提出一种利用物体自身结构来进行修复的算法.本文算法仅使用单一深度图片,沿着物体的法线方向进行传播.在进行深度修复时,本文算法把深度补全的问题转化成几何完成的问题,将二维像素点扩展到三维点云,然后利用待补全对象未缺失部分的结构信息进行扩散,从而将缺失的部分拟合出来.在扩散的过程中加入各点云之间的约束模拟深度的变化,当扩散到两个曲面交界的位置时加入最近曲面的判断.本文在NYU D e p t h v 数据集上进行测试
16、,实验证明该算法对孔洞的填充有比较好的效果.算法原理深度图像补全的问题可以描述如公式().给定一个缺失的深度图像Is p a r s eRmn求近似于真函数的F,使其和真实的稠密深度图像Id e n s e的差值最小.其中Id e n s eF(Is p a r s e)为预测的稠密深度图像.m i n|F(Is p a r s e)Id e n s e()因为本文算法沿着待补全对象未残缺部分的法线方向传播,因此本节首先介绍点云法线的计算原理,然后介绍本文具体算法.本文算法分四个步骤来实现函数F.法线计算原理如图所示,图(a)为茶壶形状的点云,图(b)中每个点上带箭头的线为该点的法线.对于点云
17、中任意一点P通过半径搜索得到其邻域,根据邻域得到其质心为:OiKKj,PjPj()计算该点的协方差矩阵:C O VPj(PjOi)(PjOi)T()第 卷第期孙云鹏,等:沿法线方向传播的深度图像补洞算法则P点的法向量n(,),其中、为协方差矩阵C O V的特征值.图点云及法线 算法实现 预处理对于只有一个或者四个点以内的缺失,直接采用膨胀的方式填充.使用的内核C r o s s来扩展缺失边缘的像素.C r o s s ()具体过程如图所示,在膨胀的过程中采用较小的值覆盖较大的值,以获得较近对象的边缘信息.图像素点膨胀过程,红色方块为缺失像素值 D图像转 D点云对于大于四个点的孔洞,通过针孔相机
18、模型 公式()将孔洞周围的像素点转换成世界坐标系下的点云ZDfzXZucxfxYZvcyfy()其中,X、Y、Z为世界坐标系下坐标;u、v、D为深度图片上像素点的坐标和深度值;fx、fy、fz、cx、cx,为相机的内参.寻找最近曲面深度相机的测量原理导致采集的深度信息在物体的交界处容易丢失,通过物体的结构进行填充时要考虑待补全的点属于哪个界面.本文采用K m e a n s聚类的方式将待求点四周的点云划分为四类,当两类的中心距离较小时,将其合并为一类,最后将点云数量最多的类保留下来,将其看作是缺失点所在的平面.具体过程如图所示.图K M e a n s聚类寻找最近曲面 沿法线方向传播待求 点P
19、(x,y,z)附 近n个 点 的 坐 标 为P(x,y,z),Pi(xi,yi,zi),Pn(xn,yn,zn),法线分别为n(u,v,w),ni(ui,vi,wi),nn(un,vn,wn).则通过Pi点计算 得 到 的zi为:ziui(xix)vi(yiy)wiziwi()为了使拟合的点云更加匹配物体本身的结构,定义下列公式:zMizie|PPi|()Mie|PPi|()式中,为距离权重.如图所示,将深度图片转化成点云后寻找待填充点所在的曲面,并计算附近点的法线,随后沿着法线方向逐渐向内收缩,直到孔洞填充结束.图深度图片转化图计算技术与自动化 年月 孔洞数量及大小识别深度图片中缺失的值通常
20、为,因此本文将深度值小于的像素点定义为缺失点.采用T w o_p a s s算法进行连通域的提取和边缘点的检测,把一片范围内的缺失像素点定义为一个孔洞.如图所示,白色像素点为边缘点,边缘点围起来的圈为一个孔洞,孔洞内的白色像素点为孔洞的中心点O(x,y),定义如下:OxniPx in()OyniPy in()其中,n为孔洞内像素点的个数;Px i、Py i为孔洞内第i个像素点的坐标.孔洞的大小和形状各异,定义一个半径R来判别孔洞的大小:Rmi(Oxqx i)(Oyqy i)m()其中,m为孔洞边缘像素点的个数;qx i、qy i为第i个边缘像素点的坐标.本文后续的实验中,将半径R小于的孔洞定义
21、为小孔洞,半径R大于或等于的孔洞定义为大孔洞.图孔洞的提取与识别 算法流程具体流程如图所示.实验结果及分析N Y U D e p t h v 数据集提供了大量的深度相机采集的残缺深度图像和 幅经过修复的深度图像,其包含个城市、个场景,可以模拟我们在实际使用中会遇到的各种深度丢失现象.实验分两部分,第一部分测试数据集中较小孔洞的修复情况,第二部分测试较大孔洞的修补性能.每部分各随机选取 幅图片,实验结果取十次结果的平均值.本文所有的实验都是在一台i U、内存 G B、操作系统为u b u n t u 的计算机上运行.图算法流程图引入均方误差(M S E)、峰值信噪比(P S N R)和结构相似性
22、(S S I M)评价算法的修复性能.均方误差计算原图像和被修复图像各个像素点之间的差异,其值越小修复性能越好;峰值信噪比衡量图片的失真或者噪声水平,其值越大修复性能越好;结构相似性也是衡量两幅图像的相似性,其值越大修复性能越好.将本文算法与五种孔洞修复算法进行比较.分别是两种联合彩色图像的修复算法:联合双边滤波(J B F)算法、通过各向异性扩散(GA D)引导深度增强;仅使用单一深度图像的填充算法:基第 卷第期孙云鹏,等:沿法线方向传播的深度图像补洞算法于扩散的方法(I n p a i n t i n g)、低秩低梯度正则化(L R L)的算法、基于样例(E B I)的方法.小孔洞填充实验
23、如图所示,在小孔洞填充实验中,所有算法都能较好地修补残缺的像素值.从表的量化指标可以看出,除了L R L 算法外,其他算法填充的孔洞与原深度图像的误差都很小.L R L 算法因为同时考虑整幅图片和局部梯度,在填充孔洞的过程中在整幅图片上做全局优化,很多不需要优化的点也会被重新计算,造成负优化,因此修复的深度图片和原深度图像的误差较大.在需要被填充的点上,L R L 算法能够比较好地填充.因为较小的孔洞,使得E B I算法能够从深度图像的其他部分找到较为相似的样例进行填充,同时借用梯度和拉普拉斯算子的I n p a i n t算法也能较好地扩散.从整体上看,加入彩色信息的J B F算法和GA D
24、算法效果相对好一点,虽然GA D算法的M S E偏大,但是结构相似性更高.因为增加了彩色信息的维度,算法性能得到提高,但是要考虑深度信息和彩色信息之间的联系,不断地调节参数,增加了算法的复杂性.较小的孔洞中待补全像素点与周围结构的联系程度相对较高,本文算法在仅使用深度信息的情况下将二维像素点扩展到三维点云,沿法线方向进行扩散更能贴合实际情况,在修复过程中加入类似滤波的操作使填充的点更加平滑,因此具有最小的像素点误差和最好的结构相似性.图从左到右依次为:原图、小孔洞残缺深度图、本文算法修复图、J B F修复图、E B I修复图、I n p a i n t修复图、G A D修复图、L R L 修复
25、图表小孔洞量化指标对比M S EP S NRS S I M依赖信息O u r s 深度信息E B I 深度信息I n p a i n t 深度信息L R L 深度信息J B F 深度信息彩色信息GA D 深度信息彩色信息 大孔洞填充实验如图所示,在大孔洞实验中,L R L 算法不能有效填充缺失的像素值.当优化次数少时,大孔洞只能填充孔洞外围的信息;当将优化次数调高时,L R L 算法因为将整幅图片当作低秩矩阵从而使原本清晰的结构信息变得模糊.在大孔洞的周围,E B I算法能够从其他部分找到相似的结构进行填充,但随着逐渐向内部收缩,借助结构相似填充导致的误差会越来越大.同样,I n p a i
26、n t算法在大孔洞周围进行扩散时效果填充性能很好,但是在孔洞中心会积累较大的误差.J B F算法虽然加入了彩色信息,但是较大的孔洞在联合计算时必须扩大周围计算范围,因此会计算许多当前结构之外的点,而且距离权重不好调节.与J B F算法不同,GA D算法只是将彩色信息作为沿着梯度扩散的权重,比I n p a i n t算法多了一个优化条件.GA D算法采用类似热扩散的框架将具有已知深度值的像素作为热源,加入彩色信息调节权重,将深度从这些热源扩散到未知区域,在所有算法中性能最好,具有最小的像素点误差和最好的结构相似性.计算技术与自动化 年月增加彩色信息都需要调节彩色信息和深度信息的权重,本文仅仅利
27、用深度信息,在只牺牲较少的误差的情况下能够较好地填充大孔洞.而且在实际使用中一旦存在相机抖动或其他情况造成的彩色图片模糊,联合彩色信息进行修复的算法性能会大幅度降低,本文算法则没有这种顾虑.另外,在大孔洞的实验中,总是涉及多个曲面交界的现象,本文算法在修复过程中加入曲面判断操作,使填充的点能保持结构的合理性.表大孔洞量化指标对比M S EP S NRS S I M依赖信息O u r s 深度信息E B I 深度信息I n p a i n t 深度信息L R L 深度信息J B F 深度信息彩色信息GA D 深度信息彩色信息结论针对深度相机采集的深度图像存在深度缺失的问题,提出一种沿着法线方向传
28、播的深度图像补全算法.本文算法将深度补全问题转化成几何完成问题,沿着物体本身的结构向内扩展,在收缩的过程中加入类似滤波器的操作,使填充的像素点更加平滑.此外,还在不同曲面的交界处加入曲面判断,改善算法性能.本文算法中填充点的法向量由周围的点组成的点云计算而来,后续的研究可以将填充点的法向量通过类似联合双边滤波的形式计算出来,通过设置来控制填充曲面的形状(比如球形、圆锥形等),以适应更加多样化的物体.此外,本文算法仅采用周围点的数量来判断该点所处的曲面,在一些情况下会出现误判断,后续可以采用更加合理的方式来判断该点所处曲面.图从左到右依次为:原图、大孔洞残缺深度图、本文算法修复图、J B F修复
29、图、E B I修复图、I n p a i n t修复图、G A D修复图、L R L 修复图参考文献Z HAN GY,F UNKHOU S E RT D e e pd e p t hc o m p l e t i o no f as i n g l er g b d i m a g eC/P r o c e e d i n g so ft h eI E E EC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n :T AN GJ,T I ANFP,F E N G W,e t
30、 a l L e a r n i n gg u i d e dc o n v o l u t i o n a l n e t w o r kf o rd e p t hc o m p l e t i o nJ I E E ET r a n s a c t i o n so nI m a g eP r o c e s s i n g,:GU I L L EMO TC,L EME URO I m a g e i n p a i n t i n g:o v e r v i e wa n dr e c e n ta d v a n c e sJ I E E Es i g n a lp r o c e
31、s s i n gm a g a z i n e,():C HE NL,L I N H,L IS D e p t hi m a g ee n h a n c e m e n t f o rK i n e c tu s i n gr e g i o ng r o w i n ga n db i l a t e r a l f i l t e rC/P r o c e e d i n g so f t h e s t I n t e r n a t i o n a lC o n f e r e n c eo nP a t t e r nR e c o g n i 第 卷第期孙云鹏,等:沿法线方向传
32、播的深度图像补洞算法t i o n(I C P R )I E E E,:T OMA S IC,MAN DU C H IR B i l a t e r a l f i l t e r i n g f o r g r a ya n dc o l o r i m a g e sC/S i x t h i n t e r n a t i o n a l c o n f e r e n c eo nc o m p u t e rv i s i o n(I E E EC a t N o C H )I E E E,:王得成,陈向宁,易辉,等基于自适应联合双边滤波的深度图像空洞填充与优化算法J中国激光,():
33、L I UJ,G ON GX,L I UJ G u i d e d i n p a i n t i n ga n d f i l t e r i n g f o rk i n e c td e p t hm a p sC/P r o c e e d i n g so f t h e s t I n t e r n a t i o n a lC o n f e r e n c eo n P a t t e r n R e c o g n i t i o n(I C P R )I E E E,:T E L E AAA n i m a g e i n p a i n t i n gt e c h n
34、 i q u eb a s e do nt h e f a s tm a r c h i n gm e t h o dJ J o u r n a l o f g r a p h i c s t o o l s,():UHR I GJ,S C HN E I D E RN,S C HN E I D E RL,e t a l S p a r s i t y i n v a r i a n tc n n sC/I n t e r n a t i o n a lC o n f e r e n c eo n DV i s i o n(D V)I E E E,:MA F,KA R AMAN S S p a
35、r s e t o d e n s e:d e p t hp r e d i c t i o nf r o ms p a r s ed e p t hs a m p l e sa n das i n g l ei m a g eC/I E E Ei n t e r n a t i o n a lc o n f e r e n c eo nr o b o t i c sa n da u t o m a t i o n(I C R A)I E E E,:J A R I T ZM,D EC HA R E T T ER,W I R B E LE,e t a l S p a r s ea n dd e
36、n s ed a t a w i t hc n n s:d e p t hc o m p l e t i o na n ds e m a n t i cs e g m e n t a t i o nC/I n t e r n a t i o n a lC o n f e r e n c eo n D V i s i o n(D V)I E E E,:Z O P H B,VA S UD E VAN V,S HL E N SJ,e ta l L e a r n i n gt r a n s f e r a b l e a r c h i t e c t u r e s f o r s c a l
37、a b l e i m a g e r e c o g n i t i o nC/P r o c e e d i n g so f t h e I E E Ec o n f e r e n c eo nc o m p u t e r v i s i o na n dp a t t e r nr e c o g n i t i o n :沈慧中,张倩,王斌,等一种基于WMF A C A的深度图像修复算法J上海师范大学学报(自然科学版),():YAN GNE,K I MYG,P A R KRH D e p t hh o l e f i l l i n gu s i n gt h ed e p t
38、hd i s t r i b u t i o no f n e i g h b o r i n g r e g i o n s o f d e p t hh o l e s i nt h ek i n e c ts e n s o rC/I E E EI n t e r n a t i o n a lC o n f e r e n c eo nS i g n a lP r o c e s s i n g,C o mm u n i c a t i o na n dC o m p u t i n g(I C S P C C )I E E E,:XU E H,Z HAN GS,C A IDD e p
39、 t hi m a g ei n p a i n t i n g:I m p r o v i n g l o wr a n km a t r i xc o m p l e t i o nw i t hl o wg r a d i e n tr e g u l a r i z a t i o nJI E E E T r a n s a c t i o n s o n I m a g e P r o c e s s i n g,():C R I M I N I S IA,P?R E ZP,T OYAMAK R e g i o n f i l l i n ga n do b j e c t r e
40、m o v a l b ye x e m p l a r b a s e d i m a g e i n p a i n t i n gJ I E E ET r a n s a c t i o n so ni m a g ep r o c e s s i n g,():B E R T A LM I O M,S A P I R OG,C A S E L L E SV,e ta l I m a g ei n p a i n t i n gC/P r o c e e d i n g so ft h e t hA n n u a lC o n f e r e n c eo nC o m p u t e
41、 r G r a p h i c sa n dI n t e r a c t i v e T e c h n i q u e s :KUJ,HA R AK EH A,WA S L AN D E RSL I nd e f e n s eo fc l a s s i c a l i m a g ep r o c e s s i n g:F a s td e p t hc o m p l e t i o no nt h ec p uC/t hC o n f e r e n c eo nC o m p u t e ra n dR o b o tV i s i o n(C R V)I E E E,:HE
42、K,S UNJ,T ANGX G u i d e d i m a g e f i l t e r i n gJ I E E ET r a n s a c t i o n so nP a t t e r nA n a l y s i sa n d M a c h i n eI n t e l l i g e n c e,():L I UJ,G ON GX G u i d e dd e p t he n h a n c e m e n tv i aa n i s o t r o p i cd i f f u s i o nC/A d v a n c e s i n M u l t i m e d i aI n f o r m a t i o nP r o c e s s i n g P CM :t hP a c i f i c R i mC o n f e r e n c eo nM u l t i m e d i a,D e c e m b e r ,N a n j i n g,C h i n a S p r i n g e rI n t e r n a t i o n a lP u b l i s h i n g,:
