1、第1期基于深度学习的智能视频监控系统应用研究聂志勇，孙占冬（国家能源集团数智科技开发有限公司，北京100000）作者简介：聂志勇（1982），男，工程师，现任职于国家能源集团数智科技开发有限公司，主要从事能源行业大型生产控制系统、人工智能机器视觉的研发和管理工作。Tel：18910569829，E-mail：引用格式：聂志勇，孙占冬.基于深度学习的智能视频监控系统应用研究 J.能源科技，2023，21（1）：9-13.0引言近年来，国家对安全生产信息化和智能化建设提出了更高的要求，出台了一系列安全生产管理相关的文件，其目的是推进企业工业化和信息化深度融合，利用当前先进的信息技术改造和提升企业安
2、全生产管理水平，强化企业安全生产保障能力。虽然很多工业企业已经采用了视频监控方式，但是监控人员面对海量关键装置要害部位监控的视频，根本无暇顾及所有的监控场景，导致异常行为的发现存在严重滞后。通过对当前工业企业存在问题的深入调查和研究，利用带有多传感器的智能视频监控系统是有效的安全保护方案之一。该系统的工作原理是利用深度学习技术自动化识别监控视频中的异常，实时发出预警，使工作人员及时采取相应措施避免危险因素的产生，可以有效提高企业安全生产智能化水平，降低人工成本1。1系统介绍智能视频监控系统是基于人工智能机器视觉分析、移动互联网技术、GPS定位技术、大数据技术为一体的可视化集群平台，通过软硬件结
3、合，集单设备、移动监控、手持终端和网络平台等多类型设备联动功能的系统。系统通过便携式监控监测设备对生产现场的视频、图像和有害气体浓度进行实时采集，经过4G/5G通信网络上传至远程服务器上，经人工智能机器视觉分析，将智能报警结果上传到可视化大屏、办公电脑及其他智能终端（智能手机、Pad等），以便现场工作人员采取必要措施及时处理生产中的异常。该系统是对传统视频监控观念的革新，不仅可以实时提取和筛选企业生产环节的视频，还可以对视频内容进行分析和及时预警，彻底改变了传统视频监控只能记录无法分析的被动状态。在系统中，安全生产监控监测智能化的难点在于是否能提供与安全生产场景相匹配的高精度人工智能算法和与算
4、法高度兼容的AI硬件系统，随着近年科学技术的发展，此难点已经得到妥善解决。目前，很多工业企业都具有良好的硬件基础资源，在企业重点区域都安装了智能视频监控系统，例如：一座煤矿的监控摄像头数量就多达近千台，实现了井上、井下重点场所全覆盖。2系统架构、原理和算法2.1架构方案设计智能视频监控系统借助计算机系统中的智能算法模型对视频图像进行智能分析，发现视频中的第21卷 第1期Vol.21No.12023年2月Feb.2023摘要：本文主要研究了智能视频监控系统在当前矿山、油田、港口、化工、电力等行业安全生产中的应用。近年来，随着网络信息技术的飞速发展，智能视频监控技术得到了广泛的应用，传统的靠人眼监
5、控的方式已经越来越不能满足当前工业安全生产的需要。随着计算机视觉技术的持续飞速发展，为快速分析大量的视频监控数据提供了有效的支撑，使智能视频监控技术在工业安全生产领域得到迅速普及。据调查，目前已经有多种类型的智能视频监控系统在工业安全生产领域应用，并且使用效果十分显著。关键词：深度学习；视频分析；智能监控；机器视觉中图分类号：TP391文献标识码：B文章编号：2096-7691（2023）01-009-05第1期聂志勇等：基于深度学习的智能视频监控系统应用研究异常，提高企业安全生产过程中监控的有效性。智能视频监控系统的架构方案设计主要包括硬件层、平台层、服务层和应用场景等。架构方案如图 1所示
6、。图1架构方案硬件层主要包括监控摄像机等视频图像采集设备、无线气体探测仪等气体浓度检测设备、GPU服务器等智能算法模型训练设备、视频图像分析服务器等实时分析识别设备，以及Web服务器、数据和视频图像的存储设备等。平台层主要基于人工智能计算机视觉技术，采用深度学习的方法，对企业安全生产的目标进行检测、跟踪等，识别出目标的位置、姿态、行为等，分析是否存在违章行为和安全隐患等因素。平台层具有多种算法模型，可以对安全生产过程进行实时监控检测和分析等。当发现安全隐患时，系统会及时进行报警提示，及时消除安全隐患，确保企业生产过程顺利进行。目前系统所涵盖的算法模型主要有安全帽识别、工作服检测、区域入侵、打电
7、话识别、抽烟识别等。服务层指的是系统对采集的视频、气体浓度等数据进行智能分析并将分析结果进行呈现，主要包括AI监控中心、报警中心、信息可视化中心和应急处理中心等，其涵盖的基础功能主要有数据处理及存储、智能视频监控分析、可视化地图定位、告警推送、实时预警、实时 AI 分析、作业管理、智能监盘、资源管理等。应用场景是指智能视频监控系统在多种企业类型中应用，主要包括油田、电网、工业制造、智慧城市、化工园区、工地、港口、煤矿等，具有广泛性。由此可以看出，智能视频监控系统的未来发展必将更加广阔2。2.2系统运行原理智能视频监控系统采用人工智能计算机视觉中的智能视频分析技术，使计算机自动分析从监控摄像机获
8、取的实时视频图像序列，对监控场景中发生的视频内容进行理解。由于系统提前设置了一定的报警规则，当系统检测到异常行为时可进行实时报警，确保系统管理人员、工作人员等及时知晓报警发生的区域和内容，以采取措施解决安全隐患，避免危险性后果的产生。本系统以深度学习智能视频分析技术为理论支撑，从采集数据到异常行为报警，主要包括图像读取、目标检测、目标识别、行为分析和报警显示五个模块3。智能监控流程如图2所示。图像读取目标检测目标识别行为分析报警显示图2智能监控流程（1）图像读取：在采集视频的时候，系统需要采用高清监控摄像机，确保图像分辨率符合系统读取要求。监控摄像机的选型对智能视频监控系统的检测效果影响很大，
9、分辨率差或者性能不好的监控摄像机会严重影响系统的检测效果。因此，在监控摄像机的选型上，要选择分辨率高、性能好、性价比高的监控摄像机。应用场景智慧油田智能电网智能制造智慧城市化工园区智慧工地智慧港口智慧煤矿智慧水泥智能视频分析套件行业应用平台AI监控中心报警中心信息可视化中心应急处理中心基础功能数据处理及存储、智能视频监控分析、可视化地图定位、告警推送、实时预警、实时AI分析、作业管理、智能监盘、资源管理AI视频分析中心台智能视频监控检测作业安全实时分析标准算法SDK监控摄像机无线气体探测器Web服务器网络摄像存储GPU服务器数据存储设备安全帽识别工作服检测人员闯入识别人员倒地识别反光衣识别打电
10、话识别油烟识别烟雾火焰识别更多皮带磨损识别人员离岗识别液体泄漏识别物品遗留人员聚集检测人员站在吊具下方检测液体泄漏检测安全带检测更多服务层平台层硬件层AI中心应用服务AI算法算力平台10第1期（2）目标检测：目标检测是计算机视觉领域的重要应用。目标检测和目标识别是有区别的，目标检测主要是根据提前设置好的规则发现目标，确定要监控的视频图像的某个区域是否含有要识别的对象。而目标识别则是为了考验计算机程序对目标的识别能力，识别通常发生在目标检测的区域。（3）目标识别：目标检测和目标识别在智能监控流程中是连续的两个步骤，前后衔接，系统首先检测到视频图像中的目标，然后对所检测到目标进行识别。为了对目标进
11、行识别，系统需要提取目标的特征，然后根据特征进行目标识别。（4）行为分析：行为分析即使用计算机自动识别监控视频中的异常行为，这里的异常行为不是凭空定义的，需要根据一定的规则提前设定，而规则的设定需要结合企业实际业务场景需求进行。目前，大部分系统都是采用基于规则的方式来检测监控视频中的异常行为，即通过事先定义的规则来区分正常行为和异常行为。例如：通用区域的入侵算法，首先要在目标场景中划定区域，以检测人员是否具有越界入侵行为。（5）报警显示：系统中的行为分析模块会对视频内容进行分析，当检测到某种行为触发了已提前定义好的异常行为规则时，系统就会发出报警。可以将异常行为规则集成在一起，建立异常行为样本
12、库，方便管理。智能视频监控系统异常行为报警原理主要是对监控区域内的目标进行检测和识别，实时分析是否和预设的报警事件相吻合，如果吻合，则发出报警，以便工作人员进行干预或处置。异常行为报警原理如图3所示。目标检测特征提取分类器判定结果异常行为样本库图3异常行为报警原理2.3深度学习算法智能视频监控系统的快速发展离不开深度学习算法，作为目前最主流的人工智能算法，深度学习在系统中具有关键性应用。深度学习算法主要包括训练和推测两个过程，就是以企业安全生产现场所采集的海量数据集为基础，通过GPU服务器进行训练得到各种参数，然后将这些参数传递给算法的推测部分，从而得到最终结果。算法模型的训练需要有一个海量的
13、数据集，这些数据集主要是基于企业实际业务场景采取视频抽帧方式来进行标注的，一般所包含的图片数量都是数十万级。数据集的选择对于算法模型的训练至关重要，直接影响着推测结果的准确率。在算法模型训练阶段，服务器需要依靠其强大的计算资源和专属硬件实现训练过程，并提取出相应参数，相当于优化算法模型待定的约束条件。当算法模型训练完成后，将训练完成的模型（主要是通过训练优化得到的各种参数）应用在企业安全生产中的各种场景4。在系统中，深度学习具有很强的适应性，可以适应足够多的企业实际生产环境和场景，并且能够实现比较精准的目标分类和识别，其所具有的自主特征识别的特点特别适用于抽象、复杂的企业安全生产异常行为的识别
14、分析领域，如图4所示。国能信息公司综合自动化部始终专注于智能视频监控系统的研发，根据企业安全生产场景的实际需求已成功定制开发了多款智能视频监控系统，围绕“人机环管”构建了“1+N+M”应用模式（1 个平台、70 多种算法、200 多种场景），实现了安全生产异常信息可视、数据实时分析和报警及时联动，有效提高了企业安全生产效率，为企业智能化建设赋能。另外，部门所研发的系统还可以实现边端协同的一体化解决方案，并且支持一台摄像机和多个算法的动态组合关联，可以有效满足多样化的企业安全生产业务场景实际需求。目前，经过多次现场验证，对生产过程异常行为的算法检测准确率已经超过 95%，召回率超过90%，并且异
15、常报警响应时间小于2 s5。测试数据集算法模型深度学习算法海量数据集输出结果推测训练、优化图4深度学习算法过程3系统主要功能3.1智能监盘系统基于GIS地图，在可视化大屏上可实时显示监控部位的GPS信息，可以通过多点面视频集成监控的方式，让管理员及时掌握监控现场的动态信息和工作进展情况，提高企业、厂、车间、班组多级安全监督11第1期管理效率。管理人员可以随时查看企业安全生产过程中的报警信息，实现监测信息的实时无线传输与报警，同时将现场图像、坐标、报警信息第一时间推送至工作人员，提高危险信息的传递能力和应急处置效率。智能监盘可以实现安全生产的集中检测与监控，保证各类子系统的全面集成，并实现系统间
16、的联动控制。3.2智能分析报警系统所具有的智能视频分析工作站充分发挥各硬件配置的性能，最大化提高计算能力，为视频分析处理提供计算支撑。在企业生产各环节和流程都配备了监控摄像机，当出现人员违章或者生产异常等情形时，可实现自动抓拍、实时报警与信息主动推送。智能分析报警功能可实现对人的错误操作、各种物的不安全状态、设备的异常情况和环境的不安全因素等识别。3.3算法模型集成系统集成了多种算法模型，可以适应人员违章和生产现场异常等多种视频分析业务应用场景，并且根据企业实际业务场景进行算法模型的调整。系统支持对人员行为管理、设备的不安全状态识别、环境的不安全因素判定等多种算法模型。目前支持的算法场景模型主要有不戴安全帽行为检测、不戴安全带行为检测、厂区抽烟行为检测、厂区接打电话行为检测等。3.4生产流程管理系统通过终端实时监控生产现场，实时采集、传输监测数据和作业画面，当发现生产现场存在危险因素时进行实时智能报警。平台严格遵循国家和行业的相关制度，制定了严格的安全生产监督检查流程，可保证工作人员按照平台设定的流程进行操作。另外，平台支持企业管理人员查询和追溯生产过程，查看全过程信息报告，并支持对报
