1、Geomatics Science and Technology 测绘科学技术测绘科学技术,2023,11(2),122-134 Published Online April 2023 in Hans.https:/www.hanspub.org/journal/gst https:/doi.org/10.12677/gst.2023.112014 文章引用文章引用:江涛,常莉红,魏征,董震.融合空间结构权重优化注意力机制的建筑物立面元素检测J.测绘科学技术,2023,11(2):122-134.DOI:10.12677/gst.2023.112014 融合空间结构权重优化注意力机制的建筑物融
2、合空间结构权重优化注意力机制的建筑物 立面元素检测立面元素检测 江江 涛涛1，常莉红常莉红2，魏魏 征征3,4,5*，董董 震震1 1武汉大学测绘遥感信息工程国家重点实验室，湖北 武汉 2武汉大学遥感信息工程学院，湖北 武汉 3国家海洋局南海规划与环境研究院，广东 广州 4自然资源部海洋环境探测技术与应用重点实验室，广东 广州 收稿日期：2023年3月5日；录用日期：2023年4月18日；发布日期：2023年4月24日 摘摘 要要 本文针对街景本文针对街景图图像立面元素检测问题，提出了融合空间结构权重优化注意力机制的立面元素目标检测网像立面元素检测问题，提出了融合空间结构权重优化注意力机制的立
3、面元素目标检测网络。在主干网络部分使用嵌入基于空间结构优化坐标注意力机制的络。在主干网络部分使用嵌入基于空间结构优化坐标注意力机制的C3模块，增加横纵坐标权重分支，有模块，增加横纵坐标权重分支，有效利用空间结构编码信息，提升立面元素定位精度；其次针对立面最主要组成元素窗户、阳台的小目标效利用空间结构编码信息，提升立面元素定位精度；其次针对立面最主要组成元素窗户、阳台的小目标特性，使用改进的递归门控卷积模块替换原始卷积模块，融合丰富的多尺度上下文信息，并增加小目标特性，使用改进的递归门控卷积模块替换原始卷积模块，融合丰富的多尺度上下文信息，并增加小目标检测分支，提升检测精度；最后设计了检测分支，
4、提升检测精度；最后设计了ECIOU损失同时对检测框的长宽比以及定位中心进行监督，增强损失同时对检测框的长宽比以及定位中心进行监督，增强网络对立面元素的感知能力，提升网络收敛速度。在网络对立面元素的感知能力，提升网络收敛速度。在FacadeWHU数据集上实验结果数据集上实验结果表表明，本文模型的明，本文模型的平均精度比相较于基线网络平均精度比相较于基线网络Yolov5s而言整体平均精度提升了而言整体平均精度提升了16.4%,窗户目标的平均精度提升了窗户目标的平均精度提升了22.4%，阳台目标的平均精度提升了阳台目标的平均精度提升了25.5%，可以有效检测立面元素，更好的服务于病害检测、能耗分析等
5、下游，可以有效检测立面元素，更好的服务于病害检测、能耗分析等下游任务。任务。关键词关键词 立面解析，建筑物立面，立面元素检测立面解析，建筑物立面，立面元素检测 Building Facade Element Detection Based on Spatial Structure Weight Optimization Attention Mechanism Tao Jiang1,Lihong Chang2,Zheng Wei3,4,5*,Zhen Dong1 1State Key Laboratory of Information Engineering in Surveying,Mappi
6、ng and Remote Sensing,Wuhan University,Wuhan Hubei *通讯作者。江涛 等 DOI:10.12677/gst.2023.112014 123 测绘科学技术 2School of Remote Sensing and Information Engineering,Wuhan University,Wuhan Hubei 3South China Sea Institute of Planning and Environmental Research,Ministry of Natural Resources,Guangzhou Guangdong
7、 4Key Laboratory of Marine Environmental Survey Technology and Application,Ministry of Natural Resource,Guangzhou Guangdong Received:Mar.5th,2023;accepted:Apr.18th,2023;published:Apr.24th,2023 Abstract Aiming at the problem of facade element detection in street view image,this paper proposes a fa-ca
8、de element object detection network integrating spatial structure weight optimization mechan-ism.C3 module embedded in the coordinate attention mechanism based on spatial structure op-timization is used in the backbone network to increase the weight branches of horizontal and ver-tical coordinates,e
9、ffectively use the spatial structure coding information,and improve the posi-tioning accuracy of elevation elements.Secondly,in view of the small target characteristics of Windows and balconies,which are the main components of the facade,an improved recursive gated convolutional module is used to re
10、place the original convolutional module,integrate rich multi-scale context information,and add small target detection branches to improve detection accuracy.Finally,ECIOU loss is designed to supervise the aspect ratio of the detection frame and the positioning center,which enhances the perception ab
11、ility of the opposite elements of the net-work and improves the convergence speed of the network.Experimental results on Facade WHU data set show that compared with baseline network yolov5s,the average accuracy of the proposed model is improved by 16.4%overall,22.4%for window target and 25.5%for bal
12、cony target,which can effectively detect facade elements.Better service for disease analysis,energy consump-tion analysis and other downstream tasks.Keywords Facade Parsing,Building Facade,Facade Elements Detection Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Cr
13、eative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 近年来随着以人工智能、5G、区块链、物联网和量子计算为代表的 5 大关键技术的诞生与发展1，数字孪生城市建设迈入新阶段，实景三维中国战略应运而生。在 2021 年颁布的实景三维中国建设大纲2中明确指出“构建部件三维模型用于精准表达和按需定制，服务个性化应用。”部件三维模型包括建(构)筑物结构部件、建筑室内部件、道路设施部件、地下空间部件2等精细结构信息，在室内外智能导航、自动驾驶
14、、智慧交通、城市管理、城市规划、应急避险、能耗模拟、应急服务3等领域具有广泛的应用前景。其中，立面元素作为城市建筑的主要外部结构部件，不仅是实景部件三维模型构建过程中不可或缺的一环，而且是噪声分析、采光分析、能耗分析、遮挡分析、视野分析3等一系列下游任务的重要核Open AccessOpen Access江涛 等 DOI:10.12677/gst.2023.112014 124 测绘科学技术 心要素，因此如何提高立面元素的位置参数、尺寸参数、语义类别等属性解析的精度仍是国内外学者的研究热点之一。传统的立面解析方法大多采用基于建筑立面几何先验知识的图像处理方法，得到逐像素的语义分割结果。一类方法
15、从直接推理立面的形式语法树结构，并结合优化算法不断逼近真值标签。Teboul 等人4利用基于随机森林算法得到的建筑立面影像初步分割结果，构建形式语法树，并结合随机游走算法得到最优树结构，可同时得到立面的语义与结构信息，但随机游走优化计算过程较慢。为解决这一问题，Teboul等人5对原算法进行改进，结合递归二进制分裂语法，利用层次马尔可夫决策过程表述立面结构的优化过程，使用引入状态聚合的强化学习方法进行求解，速度显著提高。上述算法在推理语法树结构时需要用户或专家提前对形式语法提前预设，然而一套形式语法无法涵盖所有立面风格。为解决此问题，Gadde 6等人对已有立面的真值解析树结构进行优化，合并重
16、复子树以减少规则数量，进而采用无监督聚类对复杂规则进行合并，经过上述过程可以得到表达能力强且泛化性高的基元语法，可以使得分割步骤快速收敛，同时具有较高的精度。另一类方法利用立面的对称性、重复性、规则性等典型人工设计风格属性对分割过程施加约束。Pascal Muller 等人7利用互信息提取相似立面结构并解析其周期分布规律，进而建立语法树实现立面模型重建。Changchang Wu 等人8基于未校正立面影像的主要重复元素沿灭点方向分布且立面元素沿图像中心垂线对称分布的假设，使用灭点检测与 SIFT 描述符对重复元素初始提取，设计重复模式质量评价标准作为对原始结果优化过程的监督。Cohen 等人9通过立面的对称性与重复性检测，在改善原有立面分割效果的同时，也可识别、处理与修复被遮挡的立面，取得了一定效果。Xiao 10等人基于重复结构经常沿水平和垂直方向对齐的观察，通过提取经过立面重复结构边缘的基准线实现重复结构检测。第三类方法一般将立面解析定义为立面的语义分割任务，借助机器学习方法予以解决。Ali 等人11针对窗户检测，提取多尺度哈尔小波特征输入 AdaBoost 分类器检测窗户包围盒，
