1、计算机时代 2023年 第9期0 引言点云语义分割对于3D环境理解至关重要，在机器人感知1、室内导航2、增强现实3等领域已受到广泛关注。为了实现大规模室内点云场景语义分割，一方面，考虑到点云边界信息的精确细分对于整体分割性能影响非常大。错误的语义分割不利于建筑工程师更好地理解建筑物的几何结构。另一方面，场景点云过于规模庞大导致其难以直接进行分割网络的有效训练。因此，不同物体边界点/非边界点的有效区分以及如何构建一个高效的语义分割模型是一个亟待解决的问题。近些年，随着大规模室内场景扫描数据集的出现4，针对点云处理的 PointNet网络5被提出，使得直接将点云数据作为神经网络的输入成为可能。随后
2、的PointNet+网络6使用多层级降采样结构以扩大采样点之间的感受野。Wang等7提出了基于动态边缘卷积EdgeConv模块的Dgcnn网络以有效学习邻域点的关系。Landrieu等8提出了一种基于 PointNet和图卷积的点云分割网络SPGraph。Guo等9提出了一种新的基于Transformer的点云学习框架PCT，通过偏移注意力可以更好地学习点云的上下文特征信息。实际上，室内场景中建筑结构和家具物体都具有超面片DOI:10.16644/33-1094/tp.2023.09.016基于对比边界学习的超面片Transformer点云分割网络章益民(浙江理工大学计算机科学与技术学院，浙江
3、 杭州 310018)摘要：为了高效地实现大规模室内点云场景语义分割，针对边界点云的特征信息难以区分、场景点云规模过于庞大而导致其难以直接进行分割网络的有效训练等问题，以超面片为数据表征，结合超面片Transformer模块(SPT)和对比边界学习模块(CBL)，提出一种基于对比边界学习的超面片Transformer点云分割网络。针对数据集S3DIS进行训练，实验结果表明，该网络在分割精度上比Dgcnn网络高3.9%，在训练速度方面比SPGraph网络快近100倍，针对大规模室内点云场景分割效果尤为突出。关键词：点云；语义分割；自注意力；超面片Transformer；对比边界学习中图分类号：T
4、P391.41文献标识码：A文章编号：1006-8228(2023)09-75-06Contrastive boundary learning based Transformer network for point cloud segmentationZhang Yimin（School of Computer Science and Technology,Zhejiang Sci-Tech University,Hangzhou,Zhejiang 310018,China）Abstract：For the issue of semantic segmentation for large-sc
5、ale indoor point clouds scenes,it is difficult to distinguish the featureinformation of boundary point clouds and it is challenging to train deep neural networks efficiently due to the vast amount ofpoint clouds data.Taking scene super-patch as data representation,combining the super-patch Transform
6、er(SPT)module and thecontrastive boundary learning(CBL)module,a contrastive boundary learning based Transformer network is proposed.The networkis trained on public datasets S3DIS.The experimental results show that the overall accuracy of the network is 3.9%higher thanthe Dgcnn network,and the networ
7、k training speed is nearly 100 times faster than the SPGraph network.The segmentation effectis outstanding in large-scale indoor point cloud scenes.Key words：point clouds;semantic segmentation;self-attention;super-patch Transformer;contrastive boundary learning收稿日期：2023-04-17作者简介：章益民（1995-），男，浙江金华人，
8、硕士，主要研究方向：计算机图形学、机器学习与深度学习。75Computer Era No.9 2023形状，因此采用结合Transformer结构的场景超面片为数据表征，既可以提升模型学习能力，又能解决硬件资源不足问题。考虑到清晰的边界信息对整体网络分割性能至关重要，Tang 等人10提出了一个新颖的对比边界学习(CBL)框架，通过学习对比场景边界上的点特征，来改善点云全局特征。实验证明对比边界模块CBL 能有效地改善边界分割性能。因此，为了更好地优化网络边界的性能，本文引入对比边界学习模块Contrastive Boundary Learning10以解决语义分割中边界模糊问题。本文主要贡献
9、在于：提出一种适合场景超面片特征提取的Transformer模块(Super-Patch Transformer)，该模块可以有效学习场景超面片之间的特征相似度并从几何语义角度提升场景分割的有效性；在Transformer框架中引入对比边界学习策略，有效地提升了场景物体边界点云与非边界点云之间的分割性能；基于CBL模块和SPT模块的超面片网络适合于大规模点云场景的语义分割。1 本文方法为了实现大规模室内场景语义分割，本文提出了基于对比边界学习的超面片 Transformer 分割框架。具体如图1所示。图1整体分割网络框架该网络首先以大规模室内场景点云数据作为输入，利用动态区域增长算法提取室内场
10、景中几何特征一致的点云作为场景超面片；其次在神经网络编码器中借助多尺度结构，有效聚合相邻场景超面片的特征信息，同时通过子场景边界检测模块学习下采样场景的边界标签；然后借助基于多头自注意力机制的超面片 Transformer模块(SPT)，学习场景超面片全局特征以及超面片之间的特征相似度；最后在神经网络解码器中通过线性插值上采样操作，给每个超面片分配语义标签，其中上采样过程在边界超面片标签信息指导下，定义了边界超面片与非边界超面片样本对，结合对比边界学习CBL模块中的对比学习损失函数增强边界超面片之间的区分度，最终实现大规模室内场景语义分割。1.1 场景超面片Transformer模块本文采用场
11、景超面片作为场景点云的一种数据表征，可以解决神经网络难以直接训练大规模室内场景点云的问题。由于场景超面片比离散场景点云通常具有更强的几何模型表达能力，为了更好地提取全局特征信息，该模块采用了Transformer结构11。场景超面片Transformer模块可以将输入的场景超面片几何特征映射到更高维的语义隐空间中，从而能够在高维隐空间中有效学习场景超面片之间的相似度。借助Transformer结构学习超面片之间的上下文关系能高效地实现场景的语义分割。1.1.1 场景超面片的生成和特征描述观察发现，室内场景中的人造物体通常是由具有76计算机时代 2023年 第9期高度结构化的超面片构建而成。受到
12、Mattausch等12人工作的启发，本文通过聚类方法提取场景超面片。其中区域增长策略的核心思想是：首先将曲率最大的采样点s作为种子采样点，然后根据种子采样点选择出超面片i外的最近邻采样点p。假如最近邻采样点p满足以下条件：np ns t1(p-s)ns t2(p-q)nq t3#(i)t4则将最近邻采样点p添加到超面片i中，直到超面片中采样点数达到阈值上限t4则选择另外一个种子采样点重复上述操作，直至遍历完场景中所有点云数据为止。其中，q表示依次添加至超面片i中的最后一个采样点，n分别表示相应采样点的法向量，#表示点集中采样点数目。为了有效描述场景超面片特征信息，本文首先通过PCA方法13获
13、取超面片高度、面积、长宽比等；最后利用超面片边界框的质心代表超面片质心。同时，场景超面片特征还可以包括PCA法线、颜色、面积填充比等特征信息。具体描述如表1所示，包含丰富特征信息的超面片将有助于神经网络更好地学习场景超面片之间的语义关系。表1超面片特征描述符超面片特征PpPnPcPhPrPaPf含义质心PCA法向量颜色高度长宽比面积面积填充比1.1.2 超面片Transformer结构为了在高维语义隐空间中有效地学习场景超面片之间的相似度，本文堆叠了四个偏移注意力模块构造出超面片Transformer模块(SPT)用于学习超面片的几何特征。如图2所示，给定输入的场景超面片数据i RNi(3+d
14、i)，其由Ni个包含di维特征信息和三维的质心坐标的场景超面片组成。借助四个自注意力层得到输出特征Fo RNo do，其中de=da=do/4，公式如下：F1=AT1(Fe)Fi=ATi()Fi-1,i=2,3,4Fo=concat(F1,F2,F3,F4)Wo其中，ATi代表第i层的注意力层，Wo代表线性层权重。图2超面片Transformer模块(SPT)自注意力机制的核心思想是首先通过对输入数据做线形变换得到查询矩阵和键值矩阵以及值矩阵，接着通过矩阵点乘运算与归一化操作计算输入数据之间的相关性得到注意力矩阵。如式所示，自注意力层输出向量Fsa是值向量V与相应的注意力矩阵权重A的加权和。如
15、式所示，为了加强输出特征与输入特征之间的关联性，将经过线性变换的自注意力特征Fsa与输入特征Fi进行相加得到最终的输出特征：Fsa=A VFo=SA()Fi=Relu(BN()MLP()Fsa)+Fi如图3所示，本文采用PCT网络9中偏移注意力代替自注意力方式加强点云在 Transformer 中的性能。偏移注意力层通过矩阵减法计算自注意力输出特征与输入特征之间的偏移量，算式如下：Fo=OA()Fi=Relu(BN()MLP()Fi-Fsa)+Fi图3偏移注意力模块偏移注意力采用softmax函数和归一化函数实现，具体公式如下：(o)i,j=softmax()oi,j)=exp(o)i,j)e
16、xp(o)k,j)()i,j=(o)i,jk(o)k,j采用偏移注意力模块具有以下几点明显的优势。可以有效地获取到输入特征与自注意特征的差异；77Computer Era No.9 2023支持并行计算的能力，将更多的算力运用到注意力高的特征中，提高了模型的解释性。1.2 对比边界学习模块为了改善边界分割性能，本文采用将边界信息嵌入到对比学习中。首先在下采样过程中采用子场景边界检测模块学习边界超面片语义标签，然后在各个阶段的超面片语义标签指导下，结合对比边界学习模块(CBL)10的损失函数进行模型的优化调整，最后实现边界超面片与非边界点超面片的良好区分，进而改善边界细分质量。1.2.1 对比边
17、界学习模块为了确定真实场景和预测场景中边界超面片。如式，在真实场景中，假如超面片i符合其邻域内存在三个不同语义类别的超面片j，本文将其定义为边界超面片Bl；相似地，在预测场景中，倘若一个超面片i邻域内存在不同语义类别的超面片j，本文将其则定义为边界预测超面片Bp。Bl=i|j Ni,lj liBp=i|j Ni,pj pp其中，Ni代表以超面片i为中心的邻域超面片。lj代表邻域超面片的真实标签，而pj代表邻域超面片的预测标签。为了更好地区分边界超面片与非边界超面片，本文采用InfoNCE loss14损失函数进行学习。其核心思想是通过计算超面片之间特征距离表示边界超面片与非边界超面片之间的差异
18、性，实现语义类别相同的邻域超面片相互靠近，而语义类别不同的邻域超面片严格区分。如下面公式所得：LCBL=-1|Bl|i Bllogj Nilj=liexp(-d(fi,fj)/)k Niexp(-d(fi,fk)/)其中，fi代表超面片i的面片特征，d是距离函数，是对比学习中的温度系数。本文将与中心超面片i的语义标签相同的邻域超面片j定义为正样本，而与i语义标签不同的邻域超面片j则定义为负样本。根据对比边界学习损失函数，计算损失以增强场景边界超面片之间的特征区分度。这极大地改善了边界区域分割效果。1.2.2 子场景边界检测模块针对点云降采样过程中使用最远点采样FPS15算法会导致下采样超面片的
19、语义标签难以确认的问题。本文采用在多尺度结构中嵌入子场景边界检测模块以确认每一个降采样阶段的真实的边界超面片语义标签。该模块的主要思路是针对第n个下采样阶段第i个超面片ni，其中上标表示阶段。首先通过Knn16算法为其在n-1下采样阶段中获取邻域超面片Nn-1(ni)(如图1中的黑色虚线圆)；接着通过平均池化函数AVG，聚合邻域超面片的标签信息；最后通过迭代方式确定不同子采样阶段的真实语义标签。具体如下：lni=AVG(ln-1j|n-1j Nn-1(ni)本文采用 argmaxlni来评估公式 13 中的边界点。在子场景边界检测模块的帮助下，将下采样超面片ni的特征以及标签信息作为等式15对
20、比边界优化的输入参数。将对比边界学习CBL模块应用到每个阶段中，计算最终的损失为下列公式所示：L=Lcross-entropy+nLnCBL其中，Lcross-entropy是交叉熵损失函数，而LnCBL是第n阶段中的CBL损失。是损失权重，用于表征不同层产生损失的重要性。2 实验结果与分析2.1 数据集本文采用数据集S3DIS4中Area2与Area5分别作为测试集来验证网络框架的性能。该数据集中包含六个大规模的室内区域，共含 272个房间，每个房间都包含真实语义标注的 3D 点云，共 13种语义类别。其中Area2中包含千万规模级别的大剧院场景，每个剧院场景中具有较多重复结构的建筑元素。2
21、.2 本文网络的分割效果本文网络高效地实现了大规模场景语义分割效果。如图 4给出 Area2中剧院场景的语义分割效果。点云分割结果既保持场景的完整结构，又能保持不同物体形状的边界较清晰(详见椭圆处)，如墙与地板、门与墙、墙与天花板之间的分割效果。尤其对于大量重复结构的椅子和墙以及天花板分割效果最佳。从走廊场景效果图中可以看出，绝大部分建筑元素均能被精确分割并能保证其结构信息的完整性。尤其对墙元素，在受到柱子和梁强干扰的情况下仍然能有效地分割出来，表现出网络强干扰性。同时（如图5），对于会议室、办公室、大厅等小规模点云场景点云场景，本文网络表现出较强的边界区分能力，分割效果呈现78计算机时代 2
22、023年 第9期比较明显的边界轮廓。实验表明，本文网络具有较强的鲁棒性。图4在S3DIS数据集中Area2的分割效果(黑色椭圆代表分割效果好的区域)2.3 与不同点云分割方法的比较为了突出本文网络的高效性和边界区分性能，本文采用相同数据集和相同硬件环境分别采用不同网络进行场景语义分割效果的验证实验。2.3.1 定性分析图5分别给出了在S3DIS数据集中Area5的不同方法的分割效果。其中黑色椭圆代表利用不同网络具有语义分割差异的场景区域。实验结果表明，Dgcnn 网络对于椅子，门框类别分割效果较差。而PointNet+网络6存在边界模糊现象，并且难以识别门、杂物以及书架。对比PointNet+
23、网络，本文网络的边界区分能力和保结构性更好，比如在办公室场景中椅子与桌子的相交处边界划分清晰、椅子划分不会受到桌子的影响。在会议室场景中墙和黑板以及墙和门的边界划分更鲜明。这体现出对比边界学习(CBL)模块可以增强边界超面片与非边界超面片的区分度。对比Dgcnn网络，本文网络对于黑板、墙、书架以及杂物的分割效果均优于 Dgcnn网络，从会议室场景中可以看出，本文网络对黑板和门的边界分割能力更强，并且墙和地板黑板之间不存在模糊边界现象。体现超面片Transformer(SPT)模块在高层语义空间中捕捉了超面片局部特征和全局特征从而拥有较强的学习能力。对比边界学习(CBL)模块通过损失函数优化调整
24、网络模型，增强网络模型边界区分能力。综上所述，本文网络的分割效果优于Dgcnn网络，略优于PointNet+网络。图5不同网络在S3DIS数据集上Area5的分割效果(从上到下分别为大厅、办公室、会议室)2.3.2 定量比较如表2中各项指标统计所示。与PointNet网络和Dgcnn网络7相比，由于梁类别特征不够明显分割效果较差，本文网络中其余类别的各项指标均有较明显优势；与PointCNN点云分割网络17相比，本文网络对天花板、地板、墙、黑板、书架等场景类别的分割交并比高于PointCNN网络，可以看出上述类别在边界性能的表现都比较出众，这说明对比边界学习CBL模块在网络训练中起着重要作用。
25、综上所述，SPT模块因为充分考虑到不同场景超面片的几何特征之间的相似度，从而提升了模型的学习能力。另一方面，CBL 模块既可以解决边界模糊问题，也可以提升整体模型的79Computer Era No.9 2023精度。从表3的网络训练速度指标看，本文以场景超面片作为表征语义分割网络训练效率比SPGraph网络接近快100倍。本文方法在保证场景高效分割的前提下，其能有效保持场景点云的结构信息并增强模型对边界点云的区分能力。2.3.3 场景分割效率比较如表3所示，PointNet网络与PointNet+网络以及Dgcnn 网 络 的 训 练 时 间 分 别 为 105min、557min 和175
26、min；然而SPGraph网络因结合了图卷积和PointNet网络，其训练时间为2471min。相反地，本文网络的训练时间仅需25min，均快于上述网络。相比于SPGraph网络，本文网络达到了近100倍的运行效率优势。究其原因在于本文网络采用超面片作为场景数据表征，由于场景超面片数量远小于场景点云数目，采用场景超面片作为神经网络输入可以大大加快分割网络的训练时间和运行速度。表3不同语义分割网络的训练时间方法PointNet5PointNet+6Dgcnn7SPGraph8本文网络场景数量204204204204204点云数量（百万）195195195195195数据形式采样点采样点采样点采样
27、点超面片时间/min1055571752471253 结束语针对大规模室内点云场景的语义分割问题，本文提出了基于对比边界学习的超面片Transformer分割网络。其中基于多头注意力机制的SPT模块在高层语义空间中学习超面片之间的特征相似度，对比边界学习模块CBL借助子场景边界检测策略增强跨边界点云之间的区分能力。实验证明，该网络可以准确地、高效地分割大规模室内点云场景。然而针对复杂场景，由于面片的几何特征比较相似，难以明显地区分开。同时只考虑边界点难以满足现实情况，需要对边界内点云做进一步的探索，通过学习边界点与其内部点云之间的上下文关系，可以实现更高效地场景语义分割。参考文献(Refere
28、nces):1 Rusu R B,Marton Z C,Blodow N,et al.Towards 3D pointcloud based object maps for household environmentsJ.RoboticsandAutonomousSystems,2008,56(11):927-941.2 Zhu Y,Mottaghi R,Kolve E,et al.Target-driven visualnavigation in indoor scenes using deep reinforcementlearningC/Proceedings of IEEE Inter
29、national Con-ferenceonRoboticsandAutomation(ICRA),2017:3357-3364.3 Wirth F,Quehl J,Ota J,et al.Pointatme:efficient 3d pointcloud labeling in virtual realityC/Proceedings of IEEEIntelligent Vehicles Symposium,2019:1693-1698.4 Armeni I,Sener O,Zamir A R,et al.3d semantic parsingoflarge-scaleindoorspac
30、esC/ProceedingsoftheIEEE/CVFConference on Computer Vision and PatternRecognition,2016:1534-1543.5 Qi C R,Su H,Mo K,et al.Pointnet:Deep learning onpoint sets for 3d classification and segmentationC/Proceedings of the IEEE/CVFConference on ComputerVision and Pattern Recognition,2017:652-660.6 Qi C R,Y
31、i L,Su H,et al.Pointnet+:Deep hierarchicalfeaturelearningonpointsetsinametricspaceJ.AdvancesinNeuralInformationProcessingSystems,2017:30.7 Wang Y,Sun Y,Liu Z,et al.Dynamic graph cnn forlearningonpointcloudsJ.ACMTransactionsonGraphics,2019,38(5):1-12.8 Landrieu L,Simonovsky M.Large-scale point clouds
32、emanticsegmentationwithsuperpointgraphsC/Proceedings of the IEEE/CVFConference on ComputerVision and Pattern Recognition,2018:4558-4567.9 Guo M H,Cai J X,Liu Z N,et al.PCT:Point cloudtransformerJ.Computational Visual Media,2021,7(2):187-199.方法PointNet5Dgcnn7SegCloud18PointCNN17本文网络OA-82.20-85.918686
33、.1111mAcc48.9858.2657.356363.868660.12mIou41.0949.6048.925757.262651.85Ceiling88.8088.1390.0692.319393.2727Floor97.3397.4196.0598.249898.4343Wall69.8071.4069.867979.414178.55Beam0.050 0.11110.000.000.07Column3.924.8818.3717.601818.4949Window46.2645.5038.3522.774646.4343Door10.7632.2923.126262.090939
34、.74Table58.9370.9970.407474.393967.52Chair52.6159.1175.898080.595968.65Sofa5.853.504040.888831.6723.85Bookcase40.2845.3358.426666.676753.93Board26.3827.8912.966262.050541.88Clutter33.2235.4341.605656.747435.75表2在S3DIS数据集中Area5场景分割效果的指标统计%注：粗体表示最优值，下划线代表次佳值，指标统计值越高表明其分割效果越好。(下转第86页)80Computer Era No.
35、9 2023成本控制模型分别降低 9.67%、10.19%、10.09%和10.20%，多智能体库存成本控制模型的批发商和所有零售商的库存成本之和比固定订货量1000库存成本控制模型降低10.07%。同时，多智能体库存成本控制模型的损腐量比固定订货量库存成本控制模型的损腐量更少。可以看出，多智能体库存成本控制模型优于固定订货量库存成本控制模型。4 结束语本文运用多智能体强化学习思想，从供应链角度抽象出供应商、零售商智能体，使用深度强化学习中的DDQN算法对生鲜农产品多级库存管理进行模拟建模，体现供应链中各个节点的动态结构关系，通过智能体间的相互合作，优化订货并控制多级库存成本。实验表明基于多智
36、能体的生鲜农产品多级库存成本控制模型能够有效地提高供应链库存管理水平、降低库存费用和提高供应链上各商家的经济效益，解决库存量居高不下、损腐量高和库存成本高等问题，实现多级库存的智能控制。参考文献(References):1 梁学栋,刘大成,李智,等.供应链管理M.北京:经济管理出版社,2020:145-149.2 冯继豪.基于Flexsim的生鲜农产品多级库存控制策略仿真优化D.河南:河南农业大学,2017.3 乐美龙.供应链管理M.上海:上海交通大学出版社,2021:19-20.4 刘鹏飞,谢如鹤.基于供应链的现代库存管理方法之比较研究J.商业研究,2006(2):170-174.5 汤大为
37、,王红卫.强化学习算法在供应链环境下的库存控制中的应用J.管理学报,2005(3):358-361.6 Jiang C,Sheng Z.Case-based reinforcement learning fordynamicinventorycontrolinamulti-agentsupply-chainsystemJ.ExpertSystemswithApplications,2009,36(3):6520-6526.7 Yu C,Zhou Y,Zhang Z.Multi-Agent ReinforcementLearning for Dynamic Spare Parts Invento
38、ry ControlA.2020 Global Reliability and Prognostics and HealthManagement(PHM-Shanghai)C.Piscataway,NJ:IEEE,2020:1-6.8 王树森,黎彧君,张志华.深度强化学习M.北京:人民邮电出版社,2022:31-32.9 Sutton R S,Barto A G.Reinforcement learning:AnintroductionM.MIT press,2018:1-7.10 Watkins C J C H,Dayan P.Q-learningJ.Machinelearning,1992
39、,8:279-292.11 Van Hasselt H,Guez A,Silver D.Deep reinforcementlearning with double q-learningA.Proceedings of theAAAI conference on artificial intelligenceC.Palo Alto,California USA:AAAI,2016,2094-2100.12 王道平,于俊娣.变质率呈Weibull分布的易变质物品的库存模型研究A.第十二届中国管理科学学术年会论文集C,2010:442-446.10 Tang L,Zhan Y,Chen Z,et
40、al.Contrastive boundarylearningforpointcloudsegmentationC/Proceed-ingsoftheIEEE/CVFConferenceonComputerVision and Pattern Recognition,2022:8489-8499.11 Vaswani A,Shazeer N,Parmar N,et al.Attention is allyou needJ.Advances in Neural Information Process-ing Systems,2017:30.12 O.Mattausch,D.Panozzo,C.M
41、ura,O.Sorkine-Hornung,andR.Pajarola.Objectdetectionandclassification from large-scale cluttered indoor scans.Computer Graphics Forum,2014,33(2):11-21.13MakiewiczA,RatajczakW.PrincipalcomponentsanalysisJ.Computers&Geosciences,1993,19(3):303-342.14 Oord A,Li Y,Vinyals O.Representation learning withcon
42、trastive predictive codingJ.arXiv preprint arXiv:1807.03748,2018.15 Moenning C,Dodgson N A.Fast marching farthest pointsamplingforimplicitsurfacesandpointcloudsJ.Computer Laboratory Technical Report,2003,565:1-12.16 Guo G,Wang H,Bell D,et al.KNN model-basedapproach in classificationJ.Lecture Notes i
43、n Com-puter Science,2003:986-996.17 Li Y,Bu R,Sun M,et al.Pointcnn:Convolution on x-transformed pointsJ.Advances in neural informationprocessing systems,2018,31.18 Tchapmi L,Choy C,Armeni I,et al.Segcloud:Semanticsegmentation of 3d point cloudsC/Proceedings ofIEEEInternationalConferenceon3Dvision,2017:537-547.(上接第80页)CECE86