1、信息通信基于计算机视觉的建筑结构位移鲁棒性测量侯文鹏（广州大学土木工程学院广东广州510 0 0 0 6）摘要：传统的接触式建筑结构位移监测技术具有安装过程复杂和耗时等缺点。计算机视觉相较于传统的接触式位移监测，具有高效、成本低等优点，但大多数的计算机视觉技术在运用的过程中需要在结构上安装靶点才能实现相对准确的监测，而一些大型建筑由于结构造型等原因，给靶点的安装带来一定困难，进而影响视觉技术的准确性。针对靶点安装的难题，文章在现有的研究基础上，提出一种无需安装标靶改进的稠密光流算法，结合Python-opencv软件进行算法的编译，通过对模拟位移图像进行像素位移识别，与开源DIC算法计算结果对
2、比验证，结果表明，稠密光流算法较开源DIC算法在计算速度上提升了40%，两种算法的位移误差在0.1%以下，并具有较好的鲁棒性。因此，本文所提出的无需靶点的算法对于一些安装靶点困难的大型建筑具有重要的参考价值。关键词：计算机视觉；光流法；非接触测量；建筑结构中图分类号：TU312.2Computer vision-based measurement of displacement robustness of building structuresAbstract:Traditional contact structure displacement monitoring technology ha
3、s some drawbacks such as complex installationprocess and time-consuming.Comparing with traditional contact displacement monitoring,computer vision has the advantagesof high efficiency and low cost.However,most computer vision technologies need to install targets on the structure in order toachieve r
4、elatively accurate monitoring in the process of application.Some large buildings,due to the structure shape and otherreasons,bring some difficulties to the installation of targets,thus affecting the accuracy of visual technology.To solve the prob-lem of target installation,based on the existing rese
5、arch,this paper presents a dense optical flow algorithm without target instal-lation improvement,compiles the algorithm with Python-opencv software,identifies the pixel displacement of the simulated dis-placement image,and compares the result with that of the open source DIC algorithm.The result sho
6、ws that the dense opticalflow algorithm has a 40%faster calculation speed than the open source DIC algorithm,and the displacement error of the two al-gorithms is less than 0.1%.And it has good robustness.Therefore,the target-free algorithm proposed in this paper has importantreference value for some
7、 large buildings with difficult target installation.Keywords:computer vision;Optical flow method;Non-contact measurements;Structure0引言结构位移和表面损伤的精确检测对于现有的大型建筑结构(如大型水坝和超高层建筑等)尤其重要。而结构表面的位移是结构动态响应和结构整体疲劳性能评估的重要依据，因此准确获得结构的位移数据尤为重要。当前建筑结构的位移识别按测量方法主要包括接触式和非接触式两大类。其中常用的接触式位移测量仪器主要有千分表、拉线式位移传感器等。其优点是具有较高的
8、精确性和实时性，受到广泛的使用。但存在许多不足，如安装成本消耗大、现场安装困难、后期维护困难等、尤其是对于大型建筑结构的结构整体的监测。传统的非接触式位移测量方法如GPS、全站仪、等，都存在精度误差较大、易受环境因素影响、等问题。近些年，计算机视觉由于其具有非接触、高精度、可远距离检测等优点得到了广泛的应用。计算机视觉的核心是图像处理，图像处理主要包括特征匹配、模板匹配、光流技术、数字图像相关（Digital ImageCor-relation,DIC)等。其中，数字图像相关(Digital ImageCorrela-tion，D IC）方法以其高精度、无需人造靶点、远距离测量等优点，在工程领
9、域得到了广泛研究与应用，晏班夫等通过将DIC收稿日期：2 0 2 3-0 2-16作者简介：侯文鹏（19 9 8-），男，河南许昌人，硕士研究生。2023年第0 5期(总第2 45期)文献标识码：A文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 0 18-0 4HOU Wenpeng(School of Civil Engineering,Guangzhou University,Guangzhou,Guangdong,5100006)技术与基于傅里叶变换的互相关算法(FourierTransform-basedCross-Correlation,FTCC)与亚像素匹配算法
10、IC-GN结合形成并行计算框架，实现无需人工靶标、近中距结构表面位移的短时测试，并对位移数据的精确性进行验证。然而，DIC在实际的操作过程相对复杂，叶肖伟等基于模板特征匹配算法，提出了一种远距离的实时测量位移系统克服了DIC的缺点，通过在青马大桥跨中安装LED灯作为特征目标点的进行大桥跨中位置的挠度测试，但仅限于单点测量。Ye等人通过运用模板匹配监测技术，对大跨度的桥梁结构进行了位移监测，准确识别到在桥梁上安装的靶点，此方法需要保证靶点安装的准确性 3。韩建平等通过借助MATLAB编写的一套非接触式位移测量程序，通过在四层钢筋混凝土框架一填充墙结构模型上安装标靶，并在随后的振动台试验中进行楼层
11、位移测量与拉线式位移测量传感器进行对比具有良好的鲁棒性(4。以上研究方法都是基于模板特征匹配算法的识别，而模板匹配作为一种传统的视觉模式识别方法，具有识别效率低的局限性。如对像素的强度有较高的要求，而且数字图像相关技术也受控于人工散斑。针对此缺点，周颖等提出一种无需人工靶点的非接触式识别技术，通过运用SIFT特征点匹配的特征光流技18Changjiang Information&Communications术，并在实验室内对模型在振动台上进行实验测量，得到了亚像素级别的精度 5。针对计算机视觉在大型建筑存在的靶点安装困难等不足，本文提出了无需安装靶点的无接触式改进稠密光流算法。通过运用Pyth
12、on-opencv编写一套基于计算机视觉的程序算法去追踪捕捉所选区域内的像素点，进而实现无需安装标靶的快速位移场测量识别，进而实现和对远距离的结构表面位移的鲁棒性监测。算法的主要流程包括如下：通过利用二维Gabor滤波器对图像序列进行预处理，获得无接触式稠密光流匹配所需要的像素邻域信息，进而实现结构表面二维全场位移的无靶标亚像素监测。1位移识别方法通过对数据视频进行处理，捕捉特定的图像区域，在目标区域内采用基于相位的改进稠密光流算法匹配计算，实现对结构位移的整像素匹配。为了提高精度，光流法内嵌的高斯金字塔算法同时实现整像素到亚像素的迭代，最后得到了感兴趣区域亚像素精度级别的位移数据，具体测量流
13、程图如图1所示。图像序列预处理整像素匹配亚像素匹配图1算法实现Fig.1 Algorithm implementation1.1图像整体像素匹配1.1.1图像序列的预处理光流是空间物体在观察像素点在成像平面上运动的瞬时速度，一般用来评估分析图像在相邻两帧之间的变形和位移。基于光流的计算算法的图像在计算分析过程中基本都满足如下假定：时间连续或运动是“小运动”；亮度恒定不变。为了满足两个基本假定，需要引入光流约束方程，光流基本计算表达式为：(1)式中：f为图像强度;f,f,f.分别为图像强度对x,y,t的偏导。通过求解光流计算式(1)可以得到像素位移，由于式中包含u和v两个未知数，需引入新的约束才
14、能配合求解，从不同的角度引入约束条件，就会产生不同的光流场计算方法。按19侯文鹏：基于计算机视觉的建筑结构位移鲁棒性测量照理论基础与数学方法的区别把它们分成几种：基于梯度（微分)的方法、基于匹配的方法、基于能量（频率)的方法、基于相位的方法和神经动力学方法。每种方法都有自己的适用范围，本文选用了基于相位的方法约束求解。相较于图片的灰度信息，通过基于相位得到的像素数据在分析过程中准确度更高，而且具有较强的抵抗外界因素的干扰能力，适用范围也更加广泛，通过相邻两帧图像就可以计算出光流数据。其中Daugman等在Fourier变换的基础上提出了基于相位光流匹配的二维Gabor滤波，可以在频域上不同尺度
15、、不同方向上同时得到相位信息。如下式：G(x,y)=g(x,y)exp2元 j(U,+V,)式中：（U,V)表示特定的空间频率；g(x,y)为二维高斯函数。由于Gabor滤波输出的图像在每个方向上都必须满足光流的基本假设：式(1)，整理后可得到下列表达式：(3)式中：A=U：Vo%Farneback稠密光流算法alaxay光流法的主要核心就是通过式(3)求解得到u，V具体值。二维Gabor滤波器1.1.2光流算法匹配除原理外，根据所形成的光流场中的疏密程度可将光流法分为稠密光流与稀疏光流两种。稠密光流指的是对整个图像所有像素都进行前后两帧的位移矢量计算处理，常用的稠高斯金字塔选代密光流算法如F
16、arneback稠密光流算法。而稀疏光流指的是在图像处理时只跟踪图像中某些点的子集，能够快速可靠的将注意力放在容易跟踪的特定点上。为了获得感兴趣区域的整体位移计算，本文选用了Farneback稠密光流算法。首先通过运用二维Gabor滤波器对数据图像序列进行预处理，然后得到前后相邻两帧得相位信息。引用改进的Farne-位移场back稠密光流算法来对所得相位信息进行匹配计算得到光流信息，最终输出光流失量。Farneback稠密光流是假设图像梯度和局部光流都是恒定的，计算核心是通过相邻前后两顿的图像的像素灰度信息来达到随所选区域内所有像素点得光流计算。主要理论如下：Farneback稠密光流的核心计算是利用多项式对每个像素的邻域信息进行近似表示，例如考虑二次多项式。首先将输入的图像近似看作二维函数，以感兴趣的像素点建立坐标系对并对函数进行二项式展开，可近似为：f(U)=UNU+bU+c式中：U为二维列向量，U=(x,y)N为2 2 的对称矩阵，是通过像素的邻域信息的最小二乘加权拟合得到的，权重系f,u+f,v+f,=0数与邻域的像素大小和位置有关(邻域指以该像素为中心，大小为2 n+1的方形