1、计算机与现代化JISUANJI YU XIANDAIHUA2023年第1期总第329期0引言合成孔径雷达（Syntactic Aperture Radar，SAR）作为一种主动式微波成像传感器，具有全天候、全天时的成像能力1，自其提出以来，已经被广泛应用于遥感、军事、水文、地矿以及其他领域，具有很高的军用和民用价值2。因此开展基于SAR 图像的舰船目标分类研究具有十分重要的意义。目前的SAR图像舰船分类算法主要分为传统算法和深度学习算法。传统的SAR图像舰船分类方法主要集中于特征选择3和优化分类器技术4。目前常用的特征有几何特征5、轮廓特征6和散射特性7。分类器包括机器学习模型8和高分类精度分
2、类器模型9。然而，传统的分类算法存在提取特征困难、效率低下的问题，同时在提高模型迁移和泛化能力方面面临着巨大挑战。随着深度学习的提出，卷积神经网络（Convolutional Neural Network，CNN）在图像分类中逐渐得到应用10，CNN可以自动从图像中提取目标的特征，大大 提 高 了 分 类 性 能11。SAR 数 据 集（Open-SARship12、FUSAR-ship13-14）的发布为基于深度学习的 SAR 图像舰船分类研究奠定了基础；Bentes 等人15通过CNN网络识别了TerraSAR-X图像的货物、油轮、风车、平台和港口等结构；Wu等人16提出一种用于小规模SA
3、R图像舰船分类的联合卷积神经网络框架；He等人17提出了一种密集连接的三重CNN网络来提取图像特征；Zhang等人18提出梯度直方图特征融合的深度学习网络以平衡传统特征和CNN抽象基于多卷积神经网络融合的SAR舰船分类张骁1，2，吕继宇1，赵爽1，2，吴羽纶1，2，王春乐1（1.中国科学院空天信息创新研究院，北京 100190；2.中国科学院大学电子电气与通信工程学院，北京 100049）文章编号：1006-2475（2023）01-0037-06摘要：针对SAR图像中小型舰船分类准确率较低的问题，提出一种多卷积神经网络加权融合的方法。首先构建高分辨率卷积神经网络对特征图进行多尺度融合，引入微
4、调模型和标签平滑减少训练过拟合的问题；然后利用高分辨网络、MobileNetv2网络和SqueezeNet网络训练3种单分类模型；最后采用加权投票方式对3种分类模型的结果进行融合。采用融合算法对GF-3号舰船数据集进行分类实验，取得94.83%的准确率、95.43%的召回率和0.9513的F1分数的分类性能。实验结果表明，该舰船分类算法模型具有较优的分类能力，验证了其在高分辨率SAR图像舰船分类上的有效性。关键词：SAR图像；高分辨率卷积神经网络；微调模型；标签平滑；加权投票；舰船分类中图分类号：TP183文献标志码：ADOI:10.3969/j.issn.1006-2475.2023.01.
5、007SAR Ship Classification Based on Multi-convolutional Neural Network FusionZHANG Xiao1，2，LYU Ji-yu1，ZHAO Shuang1，2，WU Yu-lun1，2，WANG Chun-le1（1.Aerospace Information Research Institute，Chinese Academy of Sciences，Beijing 100190，China；2.School of Electronic，Electrical and Communication Engineering，
6、University of Chinese Academy of Sciences，Beijing 100049，China）Abstract:The accuracy of small ship classification in Syntactic Aperture Radar（SAR）images is low.To solve the problem，aclassification approach based on the weighted fusion of different convolutional neural network results is proposed.Fir
7、stly，a high-resolution convolutional neural network is constructed to conduct multi-scale feature fusion，fine-tuning model and label smoothing are introduced to reduce the problem of training over-fitting.Then three single classification models are trained using thehigh-resolution network，MobileNetv
8、2 network and SqueezeNet network.Finally，the results of three classification models arefused by weighted voting.The fusion method is used to carry out classification experiment on GF-3 ship dataset，the results obtained are:precision 94.83%，recall rate 95.43%，F1 score 0.9513.Experimental results show
9、 that the algorithm model proposedin this paper has better classification ability，which verifies its effectiveness in high-resolution SAR image ship classification.Key words:SAR images；high-resolution convolutional neural networks；fine tuning model;label smooth；weighted voting；shipclassification收稿日期
10、：2022-03-01；修回日期：2022-03-30基金项目：国家自然科学基金资助项目（61901445）作者简介：张骁（1996），男，河北邯郸人，硕士研究生，研究方向：SAR图像舰船检测与分类，E-mail：；通信作者：吕继宇（1976），女，河南驻马店人，博士研究生，研究方向：星载合成孔径雷达系统设计与仿真，E-mail：；赵爽（1995），女，吉林长春人，博士研究生，研究方向：SAR图像目标检测，E-mail：；吴羽纶（1997），男，河北廊坊人，博士研究生，研究方向：SAR图像处理与InSAR处理，E-mail:;王春乐（1986），女，吉林吉林人，博士研究生，研究方向：合成孔径雷
11、达图像处理，E-mail:。计算机与现代化2023年第1期特征；Xu等人19提出了使用有限样本的几何迁移度量学习。针对SAR数据集解译困难、数据集较小的特点，研究人员提出了数据扩充20、迁移学习21-23和微调模型24等方法用于解决小数据集SAR图像的舰船分类问题。与传统的分类算法相比，上述SAR舰船分类算法在准确性方面取得了质的飞跃。目前对SAR图像的分类研究集中于串联型CNN，与VggNet、ResNet等网络一样，都是逐渐减小特征图的空间尺寸，将高分辨率到低分辨率的卷积层串联起来，进行分类处理。高分辨率SAR图像中，不同类别舰船目标的尺度差异较大，串联型CNN在对特征图进行降采样的过程中
12、会出现特征信息丢失导致无法很好地区分小尺度舰船目标，从而影响舰船分类的准确率。针对以上问题，本文提出一种多卷积神经网络融合的舰船分类算法。为了解决串联型CNN特征信息丢失的问题，构建高分辨率卷积神经网络，对特征图进行多尺度融合；为了减少SAR数据集经常出现的训练过拟合问题，提出针对目标像素的数据集扩充方法，引入标签平滑和微调模型方法；为了使分类结果更加精确，采用高分辨网络、MobileNetv2 网络和SqueezeNet网络融合的方法。1高分辨率卷积神经网络结构高分辨率卷积神经网络由高分辨率和低分辨率并行的子网组成，多分辨率子网之间有重复的信息交换（多尺度融合）。该网络的前2层为2个步长为2
13、的33卷积层，随后是高分辨率网络的主干部分，由分辨率逐渐减半、通道数翻倍的并行子网组成的4个阶段。以一个高分辨率的子网作为第一阶段开始，逐步增加高分辨率到低分辨率的子网，形成新的阶段，并将多分辨率的子网并行连接。因此，后一阶段并行子网的分辨率由前一阶段的分辨率和一个较低的分辨率组成。高分辨率卷积神经网络的基本结构见图1。图1高分辨率卷积神经网络基本结构如图1所示，蓝色背景的4个部分即为4个阶段，分别包含 1、2、3、4 个子网，其中第一阶段由一个与ResNet相同的3层残差单元构成，第2、第3、第4阶段的所有子网全部由2个与ResNet相同的2层残差单元构成。在每个阶段后会将不同分辨率的子网并
14、行连接，进行多次的多尺度融合。为了方便每个子网重复接收来自其他并行子网的信息，该网络在并行子网中引入交换单元。图2给出了第3阶段信息交换方案的示例，图2（a）、图2（b）、图2（c）分别为聚合高分辨率、中分辨率和低分辨率特征图信息。图2多尺度特征图融合假定网络有r个子网，则输入特征图为：X1，X2，Xr，分辨率和通道数与输入完全相同的输出特征图为 Y1，Y2，Yr，每个输出都是输入映射的集合，即：Yk=i=1ra（Xi，k）（1）其中，Yk表示第k个子网的输出，函数a（Xi，k）包含从子网i到子网k的上采样或下采样。下采样单元由一个步长为2的33卷积组成；上采样单元由一个步长为1的11卷积和最
15、近邻采样组成。如果i=k，即不同阶段的同一子网，a（，）仅为一个标识连接，此时a（Xi，k）=Xi。图3给出了高分辨率网络的分类部分。首先是由1个3层残差单元组成的卷积层，将4个子网的通道数从（16，32，64，128）增加到（128，256，512，1024），然后通过步长为2的33卷积对高分辨率子网进行降采样，并将其添加到第2个高分辨率子网中，重复2次此过程，在低分辨率子网中得到通道数为1024的特征图，最后经过11卷积将特征图的通道数增加为2048，并进行全局平均池化，将得到的特征图输入到分类器中，即可得到分类结果。图3高分辨率网络分类部分2分类算法本章介绍多卷积神经网络融合算法的实现流
16、程、MobileNetv2和SqueezeNet的网络结构以及加权融合的方法。2.1多卷积神经网络融合算法高分辨率 SAR图像中，不同尺度的舰船目标的像素点数量有明显差异，即尺度较大的舰船像素点数量要远大于尺度较小的舰船像素点数量，因此利用串联型CNN网络对其进行分类的时候，降采样操作会导致舰船目标信息丢失的问题。12812812832322562561281281281286464 64646464646464646464特征图下采样卷积单元上采样32323232161616161616888832323232323232323264646464128161616161616166464646464（a）高分辨率（b）中分辨率（c）低分辨率特征图下采样上采样161616161616888888323232321286464256256512512102410242048204811382023年第1期张骁，等：基于多卷积神经网络融合的SAR舰船分类针对该问题，本文采用高分辨率网络对高分辨率SAR图像进行初级分类。该初级分类旨在利用高分辨率网络的多尺度融合特点，对舰船目标的特征进行重复