1、dianzi yuanqijian yu xinxijishu 电 子 元 器 件 与 信 息 技 术116|基于深度学习的装备维修信息采集技术研究耿家欢1,曹军海1（通信作者）,杜佳2,于亮31.陆军装甲兵学院，北京100072；2.69245部队，新疆乌鲁木齐830011；3.69260部队，新疆乌鲁木齐830011摘要：武器装备维修信息是开展装备质量管理的基本信息资源，是评价和检验装备质量的根本依据。装备维修信息采集是一项繁琐但意义重大的工作，当前装备维修信息采集还停留在手工阶段，不仅消耗大量的人力、时间成本，在实际采集过程中还会存在装备维修信息的遗漏和错误。基于此，本文构建了装备维修信
2、息智能化采集的信息模型，并采用深度学习模型针对装备维修数据集进行迁移训练，提出了装备维修信息采集与分析系统的技术方案，实现了对基本装备维修信息的智能化采集，为利用采集的数据进行装备可靠性、维修性、故障规律、器材消耗规律等相关分析奠定了基础，为提高装备质量管理的信息化水平提供了新的解决方案。关键词：深度学习；神经网络；装备维修信息；智能信息采集；装备质量管理中图分类号:TJ07;TP18;TN948.61 文献标志码:A DOI:10.19772/ki.2096-4455.2022.11.027 0引言装备维修信息是指与装备维修过程有关的各种数据、资料等，是记录装备维修过程各种活动及其特征的知识
3、载体，不仅是分析装备在使用阶段技术状态和质量变化规律、科学制定装备使用与维修管理策略、提高装备使用效能的重要信息资源，也是军队开展装备论证、研制、生产、使用与保障工作的重要依据1。随着军队装备建设向数字化转型，大数据技术深入应用，我军装备保障向科学化、精确化、智能化不断迈进，装备维修信息的采集、管理及应用成为军队装备数字工程建设的关键环节，也成为我军未来装备质量管理体系建设的重要抓手和关键基础工程2。长期以来，基层部队装备维修信息的采集与管理工作，是始终难以有效解决的难点问题，成为制约我军装备管理工作真正迈向数字化和智能化的“最后一公里”。究其原因，主要面临缺乏专业人员、采集手段落后、认知观念
4、过时等方面问题3，这些问题不仅使装备维修信息采集遗漏了大量“低密度但有价值”的信息，也削弱了大数据应用的基础和效果，其结果反过来又造成了“信息管理工作是负担”的认知，打击了相关人员工作的积极性和主动性，从而形成了“恶性循环”4-6。本文在相关课题的支持下，从技术手段出发，探索通过人工智能技术创新部队装备维修信息采集与管理的方法和工作模式，以期通过实现自动化、智能化的装备维修信息采集技术方案，破解部队装备维修信息采集、管理与应用的瓶颈和难题。1深度学习概述随着深度学习技术在目标检测和识别领域的不断成熟和广泛应用，为装备维修信息的自动化、智能化采集提供了新的技术思路。近年来，以卷积神经网络为代表的
5、深度学习在目标检测领域的准确率越来越高，检测速度也越来越快，逐渐取代了传统的目标检测算法，特别是深层卷积神经网络AlexNet在2012年的ImageNet LSVRC竞赛中以远高于第二名的准确率取得冠军，使得深度学习在大规模图像识别问题取得了突破性进展7-9。作者简介：耿家欢，男，山东茌平，硕士，助理工程师，研究方向：图像识别、计算机网络；曹军海，男，陕西西安，博士，副教授，博导，研究方向：装备保障、系统建模与仿真。电 子 元 器 件 与 信 息 技 术|117人工智能与智能制造目标检测主要是通过模型算法对图像中的物体进行定位并确定物体所属的类别。近年来，目标检测主要分为两阶段和单阶段两种算
6、法，两阶段以R-CNN为代表，主要思想是先提取目标候选区域，而后在提取的候选区域进行目标分类10-11。针对两阶段算法速度慢的问题，以Yolo为代表的单阶段目标检测算法应运而生，其主要思想是无需生成候选区域，直接在网络中提取特征来预测物体分类和位置，从而在保证速度的基础上提升预测的准确率。Yolo算法自提出以来，先后经历多次迭代，在降低检测速度的同时准确率不断提升，已在多个实际场景应用12。本文利用Yolov5模型，对装备维修数据进行迁移学习，实现对装备维修过程相关信息的自动识别与记录，进而提出装备维修数据采集与分析的技术方案，建立自动化、智能化的装备维修数据采集与分析系统原型，并利用采集的数
7、据进行装备可靠性、维修性预测，为破解部队装备维修信息采集、管理与应用的瓶颈和难题提供可行的解决方案13。2Yolov5算法Yolov5于2020年6月10日发布，与Yolov4相比，Yolov5在检测精度相近的情况下大幅降低了推理时间，以Yolov5-6.0版本的Yolov5s模型为例，在V100 GPU上面的推理速度仅仅需要6.4ms，在COCO测试集与验证集上面的mAP指标为37.2，其半浮点精度的模型大小为14MB，完全满足实际应用。2.1算法核心思想Yolo首先对输入的图像通过特征提取网络得到一定大小的特征图，将图片分成SS个网格，当网格中有目标中心落入时（Yolov5可跨层预测），每
8、个网格预测出B个边界框数量以及每个边界框的置信度，每个检测边界框的4个坐标信息和1个目标性得分，以及边界框的类别数，图 1Yolov5-6.1 模型结构图dianzi yuanqijian yu xinxijishu 电 子 元 器 件 与 信 息 技 术118|最终输出SS（B5+C)维的张量。对于有多个框检测到同样的物体采用非极大值抑制来进行后处理，最终得到一个比较合适的预测框14-15。2.2Yolov5网络结构Y o l o v 5 的 网 络 结 构 主 要 由 输 入 端、Backbone、Neck、Prediction四个部分组成，其中输入端采用了Mosaic数据增强、自适应锚框
9、计算、自适应图片缩放等技术，Backbone采用了Focus以及CSP结构，Neck部分采用FPN+PAN结构，Prediction部分采用了GIOU_Loss损失函数。按照模型规模可分为Yolov5x、Yolov5l、Yolov5m、Yolov5s四个模型。在最新的Yolov5-v6.1版本中，模型结构主要做了两部分改动：用Conv(k=6，s=2，p=2)代替Focus层，使得模型便于导出；使用SPPF代替SPP层，使得速度提升了一倍。Yolov5-6.1模型结构图如图1所示。3训练结果与分析3.1数据集出于原型系统验证的目的，本论文通过对部队基础数据进行筛选，制作了一个装备维修数据集，零
10、部件（负重轮、后视镜、方向盘、发动机、蓄电池、轮胎、履带、炮管）等共8类典型目标，作为对模型进行训练和测试的对象，具体训练流程如图2所示。为了提高训练数据规模，采用了图像增强方式扩充数据量，并用labelimg工具对图片中的目标进行标注，最终形成的数据集共9289张图像，按照8:2的比例将数据集划分为训练集和测试集。3.2Yolov5模型训练模型训练与测试的运行环境：CPU为Intel(R)Xeon(R)Gold 5218，GPU为NVIDIA Quadro RTX 5000，内存为16G，操作系统为Windows 10，安装CUDA10.1库文件。对Yolov5模型进行训练时，首先要对数据进
11、行预处理，使其满足训练输入要求，根据requirements.txt文件中的环境配置要求进行训练环境搭建，而后加载预训练权重文件，制定训练策略后进行模型训练，当训练准确率达到应用要求后便可在硬件部署。3.3训练参数与结果分析Yolov5模型设定的训练迭代为1000epoch，本文主要采用准确率、召回率以及平均精度均值为模型评估指标，准确率和召回率越高，则目标识别效果越好。平均精度均值是同时考虑准确率和召回率的量化指标，其数值越大，则目标识别效果越好。mAP0.5指的是将IoU设为0.5时，计算每一类的所有图片的AP，然后所有类别求平均；mAP0.5:0.95表示在不同IoU阈值（从0.5到0.
12、95，步长0.05）上的平均mAP。图 3训练准确率和召回率准备数据集配置训练环境加载权重文件模型训练准确率要求模型预测YN图 2模型训练流程图 电 子 元 器 件 与 信 息 技 术|119人工智能与智能制造图 4mAP0.5 和 mAP0.5:0.95 值从图3至图5的结果可以看出，训练在100轮左右达到稳定，准确度达到90%左右，而后呈现小幅波动，并最终维持在91%左右，平均精度均值（IoU=0.5）较高，但对于不同IoU阈值（从0.5到0.95，步长0.05）上的平均mAP保持在0.66左右，可知模型在较高的IoU阈值下精度下降较为明显，可以通过增加数据集数量、增加训练轮次以及提高数据
13、集质量等方法进一步提高平均精度均值。总体来说，该模型训练精度能够用于实际场景。4装备维修信息采集与分析系统设计4.1总体方案装备维修信息采集与分析系统总体架构如图6所示，主要由客户端、服务器端和采集端三部分组成。（1）采集端。采集端包含三个模块，采集模块通过信息采集设备对与装备质量相关的图像、视频、数字等信息进行采集，数据处理模块是利用深度学习模型或识别模块对采集的信息进行物体识别、数字识别等信息粗加工过程，通信连接模块实现采集设备、数据处理设备及服务器端设备的数据通信。（2）服务器端。服务器端主要完成对采集的数据进行存储、分析、挖掘及各类装备指标计算等，并提供数据服务供客户端应用调用及访问。
14、该部分包括数据存储层、数据分析层和数据应用层三个层级。数据存储层：对采集的数据按照设定的格式进行存储，为数据分析层提供调用接口：数据处理层：对数据库存储的数据进行按照装备质量相关模型进行处理，计算、统计相关装备质量指标数据；数据应用层：数据应用层实现了与装备相关的可靠性、维修性、故障规律、备件消耗等质量信息的模块化计算封装，为客户端的各项业务提供数据应用。（3）客户端。客户端主要为用户提供信息查询及态势展现功能，用户登录系统界面后输入查询请求，系统通过数据分析计算将结果呈现给用户，同时通过展示页面还可将单位装备数质量、装备可用性、装备维修状态等信息实时动态展现，为相关业务部门决策提供信息支撑。
15、4.2信息采集原理系统的采集端是系统在装备维修活动现场图 5训练 100 轮及 1000 轮结果dianzi yuanqijian yu xinxijishu 电 子 元 器 件 与 信 息 技 术120|获取装备维修信息的信息源，除了物理设备和网络部分，该部分的功能核心是基于Yolov5模型的目标识别算法，其工作的基本原理如图7所示。4.3采集信息模型为了技术验证的目的，原型系统将信息采集的对象聚焦在装备、人员和器材三种装备维修活动所涉及的主要对象，并且以对象的身份、位置、时间三个最基本信息作为信息采集的关键要素。在信息采集端，通过Yolov5模型，实现对对象身份的识别，并记录其位置和时间信
16、息，这一过程的信息E-R模型如图8所示。这些基础信息是后期装备维修信息分析与挖掘的基础。通过将这些维修工作对象的基本信息与维修系统基图 6采集系统总体架构对象的图像数据目标识别模块（Yolov5模型）信息融合模块维修系统基础数据库类型位置时间信息存储装备维修信息库维修信息分析信息（音视频）采集设备信息采集对象装备人员器材图 7系统的信息采集工作原理 电 子 元 器 件 与 信 息 技 术|121人工智能与智能制造础信息库中的数据进行对比与合并，再通过挖掘和统计计算，可以获取有关装备维修工作的各类相关的衍生信息（见图9），这些信息可用于对装备、装备维修活动、保障人员、保障资源进行全面深入分析并作出相关管理决策16。位置装备编号型号时间位置人员ID时间位置器材型号类型时间维修消耗动用图 8系统信息采集的基础信息 E-R 模型4.4系统部署方式本系统采用Win10+Flask+Mysql+Yolov5+Echarts的模型结构，当装备进入修理工间时，部署在进出口的摄像头识别车号并将进出时间记录到数据库中，通过车号调取数据库中与该车号匹配的基础数据在前端页面显示，同时记录进入时间作为维修开始时
