1、基于技术的电气试验智能交互系统褚建超，张正，李康（国网上海市电力公司奉贤供电公司，上海 ）摘要：针对电气试验设备复杂、操作规程严谨的特点，开发了一套基于 技术的电气试验智能交互系统。首先梳理了试验设备的操作规程，分析了试验过程中的数据及场景交互机制，然后探索采用 激光扫描技术、空间识别技术、技术、技术，搭建包含底层数据层、技术支撑层、用户层和应用表现层的系统技术框架，最后展示了应用表现层中导航功能的测试结果。通过现场测试，眼镜加载智能交互系统可以实现对电气试验环境及试验设备关键部位的智能感知，达到了智能交互的效果，提高了试验效率，保障了作业质量和安全性。关键词：技术；电气试验；智能交互系统；眼
2、镜中图分类号：，（，）：，：；收稿日期：引言近年来，混合现实（）技术受到了人们的广泛关注。特别是在计算机视觉与人工智能技术的推动下，混合现实技术表现出了强劲的发展势头，无论是跟踪注册精度、显示设备性能，还是人机交互自然性上都有很大提高。混合现实技术被广泛应用于工业维修、影视娱乐、医疗手术、教育培训等多个领域，并逐渐成为下一代人机交互技术发展的主要方向之一。基于 技术开发的适用于某一场景的交互系统有很多，但是普遍存在智能化程度低、使用范围受限、功能不丰富等缺点。文献 采用 平台开发了基于移动终端和混合现实技术的博物馆辅助导览系统，但是功能设计方面受到 平台的限制，一些设想的功能不能实现；文献 列
3、举了混合现实技术在公共图书馆、博物馆应用的主要场景，如利用馆藏信息帮助读者了解现实世界、以多媒体形式呈现并增扩馆藏文献内容、协助读者与馆员定位图书等，也分析了技术在使用场景、成本和展现方式方面的风险；文献 基于标识的 的混合现实系统开发了集拆装试验自习和拆装试验现场指导为一体的拆装指导系统，有效提高拆装类试验指导的质量，但是该系统的使用效果不佳；文献 根据电气工程专业特点，对试验教学平台和课程体系进行设计，采用 技术开发了虚实结合、科学和可持续发展的虚拟仿真试验教学系统，显著提高了使用者的操作技能和分析判断能力，但互动性不够。电气试验拥有复杂的试验设备和严谨的操作规程，试验过程中对操作人员的专
4、业性和安全意识要求极高。在机器代人和人工智能的大趋势下，采用智能辅助装置和技术提高并改善工作质量非常必要，而且需求日益增长。本文根据试验流程及指导说明书设计了一套智能交互机制，基于技术开发了电气试验智能交互系统，通过数据、知识与试验设备的关联互通及实时交互，指导、辅助试验现场作业及决策，提高效率和作业质量，提升安全性。电工技术人工智能与传感技术 电气试验交互机制分析电气试验设备的使用操作是电力生产的基本工作，但当前电力设备的试验技术手段和管理方法难以满足实际工作要求，主要存在以下问题：试验流程、操作注意事项、安全规程等没有系统性，缺乏融合，存在碎片化、分割化的问题；关键设备和关键构造的图纸和数
5、据存于文档或计算机，与现场设备操作无实质对应和关联，存在信息流不及时、信息联动效率低下的问题；操作和试验中的专家知识与经验缺乏传承载体，操作人员起点低，以往错误反复发生，单项专业技能和全面的试验应对能力间存在矛盾；突发应急状态下，现场设备安全处置和人员疏散的机制缺乏友 好 性，应 急 指 导 与 疏 散 通 道 引 导 薄 弱，存 在 安 全隐患。设计电气试验过程的交互机制时，需要对以上问题进行深入分析。针对试验过程中数据量大、注意要点多、试验流程长的特点，本文引入能承载智能交互的移动终端设备，以现场图像采集及可视化内容交互展示为主要交互形式，对试验操作中的数据对接、空间感知、设备识别、设备信
6、息展示、操作规程指导、语音提示、操作路径及位置指导、应急引导等方面，依据规范的试验实施流程，设计自然的交互机制，实现试验交互的智能化。深入分析交互机制后，本文的主要研究思路如下。（）将试验设备的操作规程数字化，并转化为可视化的信息，即将繁杂的工作手册、流程图、设备图纸全部转化为可见、可听的指导画面。（）将数字可视化的信息显示在移动终端设备上，并通过使用者的视觉透视叠加到当前真实的环境场景和试验设备上，与试验设备进行无缝贴合，使试验人员在复杂的环境和设备组件中迅速找到对象位置，并且相应的可视化信息直接锚定到设备元器件的具体位置，一目了然，准确、清楚，彻底解决操作者双手翻查各类资料的烦恼，便于操作
7、者根据可视化指导进行操作及交互，从而高效完成试验流程。（）在操作中，上游应用系统的数据流、设备信息、各类系统监控信息、提示信息也应实时传输到移动终端设备上，通过移动终端设备进行提示，提升现场人员应对实际问题的能力和处理效率。（）对于试验中突发的需要进行安全或紧急逃生的紧急情况，可按预置逃生路线，通过移动终端设备进行疏散路线指引及语音提示，防止操作者惊慌失措，提高应急能力。电气试验智能交互系统设计试验设备操作虚实结合是在试验操作者的真实视觉、触觉、活动场景的基础上，将操作的要求转化为数字可视化信息（包括指示、图像、音频等），以空间和时间为可视化信息植入点，可以通过分步骤说明提高操作效率，打通数字
8、信息与真实场景的通道，支持人机互动的应用方式，以更友好的指南交互改善操作体验，增强计划和安全的过程管控，从而提高效率和安全。现实的物体是以 形态存在的，有不同的角度和空间方位。本文采用 眼镜为可视交互终端，辅助操作者对环境和 物体进行识别理解，从而触发关联机制，获得及时的设备操作指导、应急指导。由于眼镜的算力有限，无法完全承担该交互系统中对环境理解和 物体识别的任务，因此该系统引入计算机视觉（）和机器学习的支持。在理解现实 世界并和虚拟内容融合后，通过 眼镜的全息投影功能将虚实融合信息呈现眼前。同时，该系统通过语音、手势等人机交互方式与虚拟叠加的信息进行互动。本文提出的电气试验智能交互系统构架
9、如图所示。该系统由数据层、支撑层、用户层、应用层组成。系统功能全面、界面友好、扩展性强，试验流程引导安排科学合理。图电气试验智能交互系统构架（）数据层。数据层的作用是数据访问与数据分发，响应支撑层发出的数据调用指令。数据层负责存储和处理原始数据和交互后的数据，包括试验设备的台账信息、现场信息、试验过程中实时运行的数据以及运行环境数据等，但不对数据做任何业务上的加工。该部分数据及时响应支撑层对数据的要求，为支撑层使用和运行数据提供保障。同时，数据层会捕获数据库交互时出现的异常，抛出或记录下来，用以回溯及查找问题。值得注意的是，数据不仅包括普通意义上的数字，还包括文字、图像、声音等，凡是在计算机中
10、用来描述事物的记录都可作为数据被数据库记录。（）支撑层。支撑层集成了为实现 交互系统所使用的 技术、人工智能技术、实时建模技术、技术，这些技术都是实现人机智能交互的重要核心技术。本文首先通过 激光扫描技术（也称为实景复制技术）对场景进行扫描建模，然后将模型导入 进行渲染并在相应区域和设备位置进行打点，在打点处关联、加载需要展现的虚拟场景，最后发布到 眼镜。支撑层中的人工智能技术是指深度人工智能神经网络学习技术，用来实时跟踪用户操作动作，与正确的操作动作进行 对比，判断操作的正确性。本文运用的实时建模技术是 技术，该技术能够构建视觉效果更为真实的地图，从而针对当前视角人工智能与传感技术电工技术渲
11、染虚拟物体的叠加效果，使之更真实，没有违和感。（）用户层。用户层是登录界面的展示部分，其主要功能是执行各类用户在系统中的身份指定、注册、登录的操作，包括移动用户和静态用户，是对参与者使用设备以及身份识别的认证。成功注册的用户可使用设备进行辅助试验，认证取得身份后可通过设备访问应用层的具体内容。（）应用层。应用层是整个系统的核心，是所有功能的展示部分。应用层也称为应用实体，是数据层、技术层以及用户层的最终指向，由若干个特定应用服务元素和一个或多个公用应用服务元素组成。每个服务元素都会提供特定的应用服务，例如指引试验人员的导航、设备数据的处理并显示、安全提醒等。应用层通过 眼镜将系统设计中的试验流
12、程准确地展示给用户，指导其正确地完成系统要求的试验流程。依据电气试验智能交互系统构架，开发了一套基于技术的电气试验智能交互系统。操作者穿戴好眼镜后，在试验场地对该系统进行了测试。测试结果表明，设备展示、导航和安全提示功能可以无视试验设备的周边环境实现智能交互，试验引导和外部协助功能会受到试验设备周边环境影响，在清除影响因素（如杂物、可移动设备的摆放位置）后可以实现智能交互。结语本文将电气试验设备操作与技术结合，基于眼镜开发了一个电气试验智能交互系统。该系统由数据层、支撑层、用户层、应用层组成，构建了试验操作流程及安全要求的可视化场景，实现数据、行为（手势、语音）触发，位置信息交互和姿态感知，试
13、验监督指导和行为评价功能，提高了试验的效率和安全性。该系统实现了基于 扫描建模的试验设备图像识别与姿态跟踪，实现了无需借助 定位的室内自由导航，对试验过程中的虚实结合技术进行了有益尝试。参考文献 谢国军 混合现实中实时虚实交互技术研究与实现 西安：西安电子科技大学，戚纯 基于混合现实技术的数字博物馆应用研究 天津：天津大学，徐俊增强现实技术在公共图书馆中的应用前景与风险分析 大学图书情报学刊，（）：，张馨文 面向博物馆导览的混合现实系统可用性研究 无锡：江南大学，苏霞基于混合现实的工业设备维修系统成都：电子科技大学，胡海林，汪涛虚拟仿真实验助力电气工程与自动化专业本科教学 中 国 多 媒 体
14、与 网 络 教 学 学 报（上 旬 刊），（）：洪宝棣，宗哲英 电力系统虚拟仿真实验平台 的建设与应用教育教学论坛，（）：李新春浅谈 眼镜在远程协助中的应用中国设备工程，（）：高鑫磊基于视觉定位的混合现实框架西安：西安电子科技大学，（上接第 页）图系统后台软件界面 结语本文提出了一种基于智能可穿戴设备的远程协助和安规培训系统，管理人员平台指示录入各项作业现场安全知识数据，现场施工人员根据关键字检索，方便系统快速执行知识查找，确保现场工作的便捷快速，从而为电力安全生产提供装备支持，提升电力安全管控水平。参考文献 徐淑文，李志刚，韩旭输变电设备状态检修辅助决策系统研究山东电力技术，（）：冯佳玲，谢
15、峰 输变电设备优化检修和状态检修辅助决策系统山东电力技术，（）：侯颖，许威威增强现实技术综述计算机测量与控制，（）：王伟，邱萍，包震斌基于物联网的电力巡检维护高效管理 上海电力学院学报，（）：夏侯士戟，陈东义，黄志奇 基于可穿戴计算的现场作业辅助模式 计算机集成制造系统，（）：郭雨松，于振，赵炜妹基于可穿戴技术的电力作业安全监护平台研究电力信息与通信技术，（）：曲凯 电力作业现场安全管控平台的设计与实现 成都：电子科技大学，郭宇，李英娜，刘爱莲，等 基于深度学习的电力安全作业实体识别方法电视技术，（）：李涛，韩燕飞，牛硕丰，等 基于关联分析的变电站附属设备差异化运维电工技术，（）：电工技术人工智能与传感技术
