1、2023 年第 3 期计算机与数字工程收稿日期：2022年8月8日，修回日期：2022年9月20日作者简介：杨祖源，男，硕士，研究方向：计算机视觉，图像处理。刘华军，男，副教授，研究方向：图像处理，深度学习。1引言边缘检测是在图像中提取物体显著的边缘信息1，在绝大多数的视觉任务2中发挥着重要的作用，应用包括光流估计、图像分割3和生成图像修复4等。边缘作为图像中的重要结构特征往往存在于不同的区域以及物体和背景之间。LapLace，Prewwit，Sobel5和Canny6算子等传统的边缘检测算法利用图像的颜色、纹理和梯度信息等特征来进行边缘检测，这些特征在复杂的环境中难以实现高质量的边缘检测。D
2、ollar等7通过随机决策森林的方法生成图像块，进一步提高输出边缘的质量。上述方法都是基于人工设计的，这对于具有语义意义的边缘检测来说，使用手工设计的特征去表示高级复杂信息的能力是非常局限的。由于深度学习理论在计算机视觉方面有了重大的突破，越来越多的研究人员开始使用卷积神经网络8进行边缘检测。Shen等9提出的 DeepContour边缘检测算法对图像块进行分类，采用分治策略，最后对分类结果进行融合。Bertasius等10提出的 DeepEdge 模型同时在多个尺度上进行边缘检测，通过Canny算子得到边缘候选点并结合图像的局部信息，从而提升了边缘检测的精度。Xie等11提出HED模型，通过
3、使用全卷积神经网络和深监督的方式让网络能够自动学习提取边缘特征，让网络能够学习到边缘的高层语义信息。Liu等12提出了RCF模型，在HED模型的基础上对所有卷积层跨层多尺度特征融合的边缘检测模型杨祖源刘华军（南京理工大学计算机科学与工程学院南京210094）摘要充分利用多尺度信息对于提高不同尺度对象的边缘检测十分重要，因此提出一种跨层多尺度特征融合的边缘检测模型。使用残差网络作为模型的主干网络，为了增大模型的感受野，在最后一个阶段使用扩张卷积，同时在每个Bottleneck模块中添加了全局注意力模块。此外，使用多尺度融合模块对特征图提取更准确的边缘，使用跨层融合模块将高层特征和低层特征进行融合
4、。在BIPED数据集，BSDS500数据集和NYUDv2数据集上进行评估，并在BIPED数据集上实现了0.866的ODS-F值和0.871的OIS-F值，比在BIPED数据集上的最新技术分别提高了0.7%和0.4%。关键词边缘检测；注意力机制；多尺度融合；扩张卷积中图分类号TP391.41DOI：10.3969/j.issn.1672-9722.2023.03.016Cross-layer Multi-scale Feature Fusion Model for Edge DetectionYANG ZuyuanLIU Huajun（School of Computer Science and
5、 Engineering，Nanjing University of Science and Technology，Nanjing210094）AbstractMaking full use of multi-scale information is very important to improve the edge detection of objects at differentscales，so a cross-layer multi-scale feature fusion model for edge detection is proposed.The residual netwo
6、rk is used as the backbone network，in order to increase the receptive field of the model，dilated convolution is used in the last stage，and a global attention module is added to each Bottleneck module.In addition，a multi-scale fusion module is used to extract more accurate edges ofthe feature map，and
7、 a cross-layer fusion module is used to fuse high-level features and low-level features.The method is evaluatedon the BIPED dataset，BSDS500 dataset and NYUDv2 dataset，and it achieves ODS F-measure of 0.866 and OIS F-measure of0.871，0.7%and 0.4%higher than current state-of-the-art on BIPED respective
8、ly.Key Wordsedge detection，attention mechanism，multi-scale fusion，dilated convolutionClass NumberTP391.41总第 401期2023 年第 3期计算机与数字工程Computer&Digital EngineeringVol.51No.3623第 51 卷的输出都进行了融合，并且采用了鲁棒性更好的损失函数进行训练，但是得到的结果边缘较粗而且噪声较多。因此，本文提出一种跨层多尺度特征融合（Cross-layer Multi-Scale Feature Fusion，CMFF）的边缘检测模型，在残差网
9、络13中引入扩张卷积14和全局注意力模块；设计了多尺度融合模块，增大模型感受野的同时提取更高效的边缘特征；为了进一步提取更精细的边缘，设计了跨层融合模块，将高层含有全局信息的特征和低层含有细节纹理的特征进行融合，使得低层特征也能关注全局特征。2网络模型2.1模型总体结构CMFF模型以Resnet5013为主干网络，将第一个stage和最后一个stage的33卷积核的步长设为1。对最后一个阶段的 3个 Bottleneck使用扩张系数分别为1、2、3的扩张卷积，保证能够在不增加模型计算量的同时扩大感受野。在每个Bottleneck里加入全局注意力模块（Global Attention Modul
10、e，GAM），网络能够学习到不同通道和不同位置像素点的关联性，从而提高了边缘检测精度。多尺度融合（Multi-Scale Fusion，MSF）模块对每个stage的侧边输出进行多尺度特征融合，让模型充分学习到不同尺度下的边缘特征。跨层融合（Cross-layer Fusion，CLF）模块对高层产生的特征图和低层产生的特征图进行跨层特征融合，使得低层也能够关注高层的全局特征。模型的结构图如图1所示。2.2全局注意力模块在Bottleneck模块加入全局注意力16模块。全局注意力模块如图2所示，通过融合特征图的通道维度信息和空间维度信息，使得生成的特征图更能关注全局显著的边缘。在通道维度方面，
11、输入的特征图F分别经过平均和最大池化操作得到Fcavg和Fcmax，将两个特征图经过两个全连接层并将输出的特征进行元素加和，再经过 Sigmoid 得到Mc。将Mc与F对应元素相乘得到具有通道关注的边缘特征图F1。计算公式如下：Fcavg=avgpool()F（1）Fcmax=maxpool()F（2）Mc=(fc(Fcavg)+fc(Fcmax)（3）input77-64convstage1maxpoolingBottleneckBottleneckBottleneckstage2MSF11-1 convCLFdeconvloss/sigmoidMSF11-1 convCLFdeconvlo
12、ss/sigmoidMSF11-1 convCLFdeconvloss/sigmoidMSF11-1 convCLFdeconvloss/sigmoidMSF11-1 convdeconvloss/sigmoidloss/sigmoid11-1 convconcatBottleneckBottleneckBottleneckstage3BottleneckBottleneckBottleneckBottleneckstage4BottleneckBottleneckBottleneckBottleneckBottleneckBottleneckstage5图 1CMFF网络结构杨祖源等：跨层多
13、尺度特征融合的边缘检测模型6242023 年第 3 期计算机与数字工程F1=McF（4）其中，avgpool()表示平局池化操作，maxpool()表示最大池化操作，fc()表示全连接输出，()表示Sigmoid激活函数输出。在空间维度方面，F1沿着通道维度经过平均和最大池化操作得到Fsavg和Fsmax，然后将这两个特征以级联的方式进行融合，通过卷积层进行卷积，再经过激活函数得到Ms。最后将Ms与F1对应元素相乘得到同时具有通道和空间关注的特征图F2。具体计算公式如下：Fsavg=avgpool(F1)（5）Fsmax=maxpool(F1)（6）Ms=(c()Fsavg,Fsmax)（7）
14、F2=MsF1（8）其中，c()表示特征连接操作，表示卷积输出。11 convinput33 conv11 convGAMBottleneckavgpoolingmaxpoolingfc1fc2avgpoolingmaxpoolingconcat77 convGlobal Attention Module图 2全局注意力模块2.3多尺度融合模块多尺度融合模块结构如图3所示。33-32 convinput33-32 convdilation=433-32 convdilation=833-32 convdilation=12Multi-Scale Fusion Module图 3多尺度融合模块由
15、于大尺度的卷积核会使模型的计算量急剧增大，从而导致模型的训练难度增大和训练时间变长，因此采用扩张卷积代替大尺度卷积核，保证在模型参数不增加的情况下也能学习到大尺度的特征信息。首先采用一个33卷积对输入的特征图F的特征维度降低到 32，经过 Relu 激活函数得到Fc，然后采用三个扩张系数分别为4，8，12的33扩张卷积对图像进行特征提取，得到特征图F1，F2和F3，然后经过Relu激活函数。最后，将F1，F2，F3和Fc进行元素相加融合，生成最终的特征图Fd。具体计算公式如下：Fc=relu(F)（9）Fi=relu(Fc,d=4i)（10）Fd=i=13Fi+Fc（11）其中，relu()表
16、示激活函数输出，(,d)表示扩张系数为d的卷积输出。2.4跨层融合模块跨层融合模块结构如图4所示，CLF模块首先对高层的特征Fk+1上采样到低层特征Fk的大小，然后以元素加和的方式和低层的特征Fk进行特征融合，再通过Sigmoid激活函数得到Fadd。最后，将低层的特征图和经过Sigmoid激活函数后的特征图mask对应的元素进行相乘得到Ffuse，低层特征能够充分学习高层特征的全局信息。具体计算公式如下：Fadd=Fk+upsample(Fk+1)（12）mask=(Fadd)（13）Ffuse=Faddmask（14）其中，upsample()表示上采样操作。对于CLF模块的输出，一方面作为前一阶段的CLF模块的输入；另一方面使用反卷积操作，上采样到原图像大小，通过标签图对每个阶段的输出进行深监督学习。sigmiodupsamplestage kstage k+1Cross-Layer Fusion Module图 4跨层融合模块2.5损失函数边缘检测数据集通常由多个注释者进行标625第 51 卷记。对于每一个图像，对所有标签加和取平均值得到一个边缘概率图。我们将概率等于0的像素认