1、Computer Engineering and Applications计算机工程与应用2023，59（6）眼底血管的形状和分布与糖尿病、青光眼和白内障等眼科疾病的严重程度有着密不可分的关系。彩色眼底图像中视网膜血管高精度分割提供了血管丰富的几何特性，如直径、分支角度和分支长度等，这些几何特性可作为医生对眼科疾病的诊断和治疗依据。在临床实践中视网膜血管分割通常由经验丰富的专家手工分割实现。然而，人工分割视网膜血管需要花费大量的时间和人力。由于微小血管与背景对比度较低和复杂的血管宽度及形状变化，同一张视网膜图像，不同医生分割的血管图有比较大的差异。所以，设计一种计算机自动分割视网膜血管算法就显
2、得尤为重要。近年来，国内外研究者对视网膜血管分割开展了大量的研究，提出诸多视网膜血管分割的方法。这些方法大致分为以下两大类：无监督学习和有监督学习。无监多尺度注意力细化视网膜分割算法梁礼明，陈鑫，余洁，周珑颂江西理工大学 电气工程与自动化学院，江西 赣州 341000摘要：针对现有算法存在因视网膜血管尺寸微小和对比度低等造成细小血管分割缺失以及因病理区域造成血管过分割等问题，提出一种基于U型网络多尺度注意力细化视网膜分割算法。在编码和解码阶段使用改进的密集卷积模块充分提取血管的特征信息，提升特征的利用率。将不同尺度的编码层特征提取的结果拼接后，通过跳跃连接经双向注意力机制将特征增强后传递到解码
3、层。在解码处引入空间细化模块进一步提取微小血管的空间信息，减少背景伪影，细化血管形态。该算法在公开数据集 DRIVE 和 STARE 上进行验证，其在评估指标准确率分别为0.964 9和0.966 3，灵敏度分别为0.842 2和0.805 0，特异性分别为0.982 2和0.988 0，AUC分别为0.986 7和0.989 5。关键词：视网膜血管分割；空间细化；密集卷积；双向注意力文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2111-0514Multi-Scale Attention Refinement Retinal Segmentat
4、ion AlgorithmLIANG Liming,CHEN Xin,YU Jie,ZHOU LongsongSchool of Electrical Engineering and Automation,Jiangxi University of Science and Technology,Ganzhou,Jiangxi341000,ChinaAbstract：Aiming at the problems of unsegmented small blood vessels and over-segmented pathological areas due to thesmall size
5、 of retinal blood vessels and low contrast in existing algorithms,a multi-scale attention thinning retinal segmen-tation algorithm based on U-shaped network is proposed.First of all,the improved dense convolution module is used inthe encoding and decoding stages to fully extract the feature informat
6、ion of the blood vessel,and improve the utilizationof features.Secondly,the results of the four feature extractions of the coding layers of different scales are spliced,andthen transferred to the decoding layer through skip connections.At the same time,a dual attention mechanism is intro-duced in th
7、e skipping connection and spatial refinement structure to spatially enhance the structure of the tiny blood ves-sels.Finally,the spatial refinement module is introduced in the decoding to further extract the spatial information of thetiny blood vessels and refine the distribution and shape of the bl
8、ood vessels.The algorithm is verified on the public datasets DRIVE and STARE.The evaluation indicators ACC are 0.964 9 and 0.966 3,the sensitivity is 0.842 2 and 0.805 0,the specificity is 0.982 2 and 0.988 0,and the AUC is 0.986 7 and 0.989 5.Key words：retinal vessel segmentation;spatial refinement
9、;dense convolution;dual attention基金项目：国家自然科学基金（51365017，61463018）；江西省自然科学基金面上项目（20192BAB205084）；江西省教育厅科学技术研究重点项目（GJJ170491）。作者简介：梁礼明（1967），男，教授，主要研究方向为医学图像分析与机器学习，E-mail：；陈鑫（1995），男，硕士研究生，主要研究方向为医学图像处理与机器学习；余洁（1998），男，硕士研究生，主要研究方向为医学图像分析与机器视觉；周珑颂（1996），男，硕士研究生，主要研究方向为医学图像分析与机器视觉。收稿日期：2021-11-29修回日期：
10、2022-03-05文章编号：1002-8331（2023）06-0212-092122023，59（6）督方法不依赖任何人工标记，而是利用视网膜固有特征来识别血管信息和背景信息，然后根据某个规则将眼底图像的每个像素分为血管像素和背景像素两类1。Ghaderi等2利用二维Gabol滤波器进行特征提取，再利用贝叶斯分类器进行血管分割。Yang等3利用Frangi滤波器进行特征提取，然后利用后处理和聚类进行血管分类。Fan等4利用大量边界、凸包和骨架等区域形状特性，将不确定区域的像素分为血管像素和背景像素。Wang等5提出一种多尺度形态学和种子点跟踪来增强并分割血管的方法。彩色眼底图像存在较多的噪
11、声和无监督方法提取的特征粗糙，使得分割精度较低。监督学习需要依赖人工标记的数据来引导算法不断提高自身的分割能力，具有较强的可靠性和稳定性。随着深度学习在医学图像分析领域的快速发展，深度学习的分割方法逐渐应用在视网膜血管分割中，并取得相当不错的分割结果。Jin等6将可变形卷积和注意力机制相结合，提高了算法分割准确率和抗噪能力。Wu等7提出基于一种上下文敏感网络，利用感知特征聚合模态动态调整感受野，以提取不同结构血管特征，然后设计自适应特征融合模块，有效融合相邻分层特征。Zhang等8将视网膜分割视为多分类问题，并引入了边缘感知机制，将像素分为五类：背景、粗血管、细血管、粗血管附近的背景和细血管附
12、近的背景，通过这种方式算法可以更关注血管的边缘区域。Yan等9提出一种使用三个子网络的视网膜血管分割网络，整个血管分割分成三个阶段：先利用FCN提取粗血管，再利用UNet网络进行细血管分割，最后将分割的粗血管和细血管融合。Yang等10提出一种改进的U-net视网膜血管混合深度分割网络，其编码器作为提取血管特征的主干，并设计了两个解码器分别分割细血管和粗血管，最后添加一个融合网络将两个解码器的提取结果融合。Park等11将生成对抗网络应用到视网膜分割任务当中，在生成器中连接两个U-Net，并在生成器和鉴别器中使用残差块作为构建块。在预处理阶段利用自动颜色均衡化来增强图像，在后处理阶段利用Lan
13、czos重采样方法平滑血管分支并减少假阴性。这些方法提高了血管的分割效果，但对微小血管的分割能力仍存在不足，限制了其分割精度。此外，微小血管对比度低和所占尺度小，导致其在特征提取过程中容易丢失。针对微小血管分割不充分与病理区域过分割等问题，本文提出基于 U-Net 的多尺度注意力细化的视网膜分割算法（multi-scale attention refinement network，MARU-Net），设计带有随机丢弃层的密集卷积模块、双向空间注意力机制和空间细化结构提升算法的分割能力。本文在U-net的编码解码阶段中，利用带有随机丢弃层的密集卷积模块对血管多尺度信息进行提取。编码端的每层输出特
14、征通过跳跃连接将底层信息传递到解码层，实现浅层信息的复用。在解码器输出端，添加特征细化结构，提取更多的微小结构。在跳跃连接和特征细化处，引入双向注意力机制，提高血管特征响应，减少背景和噪声的影响。1网络结构1.1DDB模块针对U-Net传统连续卷积对血管特征提取不充分，血管特征信息易在训练中丢失，造成微小血管分割不完整等问题，本文引入密集卷积模块12代替U-Net原有的卷积模块13。密集卷积模块中，每一层将前面所有层作为自己的输入，并将本层的特征图传递给后面的所有层，增加特征传播，提高特征的利用率，加强对血管特征提取能力。由于视网膜数据集较少，引入密集卷积模块后，网络在训练过程中容易出现过拟合
15、现象，所以本文在密集卷积模块中加入随机丢弃层（dropout）14，构造带有随机丢弃的密集卷积模块（dropout dense block，DDB），随机丢弃层能以一定概率使神经元失活，使密集卷积模块具有较好的抗过拟合能力。DDB模块的结构如图 1所示，DDB模块将本层的输出和前面所有层的输出合并操作后作为下一层的输入，即k=CBRD(0,1,k-1)（1）其中，0,1,k-1表示合并 0 到k-1层特征图，CBRD表示一层特征提取网络。CBRD特征提取网络由Conv-BN-ReLu-Dropout组成，这里Conv代表33卷积和11卷积，BN代表批量归一化，ReLu代表线性修正激活函数，Dr
16、opout代表随机丢弃层。浅层特征图由于进行拼接操作后将增大网络参数，因此输入特征0,1,k-1先经过11卷积将特征图的通道数统一减少为j15，此操作一方面解决网络参数过多问题，另一方面防止网络变宽，提高网络的抗过拟合能力。CBRD特征提取网络实现血管多尺度特征的提取与融合。在本文中，DDB模块由四层 CBRD特征提取网络组成，j在不同的编码层和解码层分别设置成（24，26，28，30），以确保DDB模块可以在网络不同层产生足够的特征映射。Concatenation connectionConv11+BN+ReLu+Conv33+BN+ReLu+DropF+4jFjjjj图1DDB模块结构Fig.1DDB module structure梁礼明，等：多尺度注意力细化视网膜分割算法213Computer Engineering and Applications计算机工程与应用2023，59（6）最后，本文将DDB模块输出的F+4j特征作为下级编码器的输入，加强对微小血管特征的学习。将DDB输出的4j特征通过跳跃连接将编码器的特征信息传递到解码层，一方面，输入的F层特征图未经充分的特征提取