1、天道酬勤6自由度机械臂远程控制系统研究刘明磊 李捍东 庞爱平 刘晓燕 陈进军摘 要： 机器人控制技术在全球范围内飞速开展，人与机器人之间的交互方式正朝着方便、直观的方向开展。通过体感表征操作人员的骨骼和腕部信息，可以为机器人的远程操控提供必要的控制信息。该文融合视觉和可穿戴体感，研究了交互式6自由度机械手臂控制系统，使用人体肩、肘的旋转角度和握拳动作，来分别控制机械手臂的6个关节和抓取;并构建了分布式远程操控实验平台，数据和指令通过无线方式进行传输。实验结果说明，采用融合视觉和可穿戴体感的交互式机器人能有效直观地控制机械臂进行物体抓取。关键词： 远程控制系统; 6自由度机械臂; 机器人控制;
2、体感融合; 数据传输; 系统测试中图分类号： TN87634; TM45 文献标识码： A 文章编号： 1004373X202302003705Research on remote control system for 6DOF robot armLIU Minglei， LI Handong， PANG Aiping， LIU Xiaoyan， CHEN JinjunAbstract： With the rapid development of robot control technology in the world， the interaction between human and r
3、obot is developing in the direction of convenience and intuitionistic. The skeleton and wrist information of the operator is represented by the somatosensory， which can provide the necessary control information for remote control of robot. The interactive 6DOF robot arm control system is researched
4、in combination with the vision and wearable somatosensory. The rotation angle and clenching action of human shoulder and elbow are used to control the 6 joints and grabs of the robot arm， respectively. A distributed remote control experiment platform is constructed， and the data and instructions are
5、 transmitted wirelessly. The experimental results show that the interactive robot with fusion vision and wearable somatosensory can effectively control the robot arm to grab objects.Keywords： remote control system; 6DOF robot ram; robot control; somatosensory fusion; data transmission; system testin
6、g0 引 言随着智能化技术的飞速开展，机器人应用不断扩展和深化。基于虚拟技术的交互式控制系统使得机器人能在恶劣环境下，代替操作人员进行远程操控，友好的人机界面用于特殊环境下人类的感官和控制，能创造机器人作业环境的第一视觉，而不需要有人在现场13。近年来，视觉传感器和可穿戴体感开展十分迅速，已广泛应用于医疗、教育培训、动画娱乐业、游戏、展览展会等行业46。视觉传感器能采集人体深度图像，而可穿戴传感器能获取人体肌肉电势7。本文将机器视觉和可穿戴体感技术结合，将用户的自然运动与机器人动作相结合，通过提取人体手臂骨骼和腕部动作信息，模拟用户动作，进行机械臂控制。1 机械臂控制系统结构本文研究的6自由度
7、机械手臂控制系统由体感信息获取和解析局部、机械臂控制局部构成。骨骼传感器、臂章、计算机完成体感信息获取和解析，机械臂控制局部那么由嵌入式处理器和6自由度机械手组成，如图1所示。图中，视觉传感器、可穿戴式传感器和计算机构成体感信息获取和解析系统，机械臂控制系统包含控制器和机械臂。图1中，上半局部的体感信息获取和解析系统与下半局部的机械臂控制系统之间可通过有线或者无线方式连接，构成远程分布式控制系统。系统可包含多个机械臂，接收同一体感系统的信息，实现单一操作员对多个机械臂的控制，如图2所示。2 传感器及控制器2.1 视觉传感器视觉传感器主要用来获取手臂的深度和红外信息，可得到人体的25个骨骼数据。
8、型号为微软公司的Kinect Xbox One下文统一称为Kinect，其主要由1 080P 彩色摄像头、深度摄像头、红外发射器、红外摄像头和麦克风矩阵组成。Kinect外形如图3 所示，其主要技术指标如表1所示。2.2 可穿戴传感器可穿戴体感传感器使用的是Thalmic Labs公司的Myo臂章。臂章由微处理器ARM Cortex M4、医用级不锈钢肌电传感器EMG、高灵敏度九轴惯性测试单元IMU组成，内置三轴陀螺仪、三轴加速度计、三轴磁力计;Myo手势检测原理基于肌肉电信号，工作时紧贴小臂，具有8个肌肉脉冲探测模块，内侧为金属触点，用来贴近手臂探测肌肉脉冲。Myo外形如图4所示。2.3 机
9、械臂控制器机器人及控制系统通常位于工业现场或者需要进行操作的现场，一般使用嵌入式控制平台作为其控制器。本文选用的树莓派是一款基于ARM的控制器，内置操作系统，使用Python作为开发平台，如图5所示。3 体感信息解析及关节角计算3.1 手臂关节数据采样Kinect传感器的数据包括彩色图像、景深数据流、骨骼数据流和红外数据流。首先对Kinect传感器进行标定，步骤如下：1 根据系统提示，使人体在Kinect传感器正前方移动，设定最正确采集距离和视角;2 根据系统提示，使人体右左手臂分别处于水平伸展状态和水平弯曲状态，以便传感器记录数据。上述步骤使Kinect传感器记录了人体的大小臂长度等根本信息
10、。通过内置的采集程序动态获取人体大小臂活动图像，内部解析和运算出三维空间内大小臂关节点分别在二维坐标系xy，yz，xz內投影，如图6所示。3.2 人体关节旋转角度计算根据前述的大小臂关节点在xy，xz，yz内投影即可求解：1 大臂相对于人体躯干的水平旋转和相对于人体躯干的垂直旋转;2 小臂的垂直于大臂的旋转。1在xy平面方向向量的定义范围是0180。二维矢量由腕点xy坐标和肘点xy坐标的差来定义。在方向矢量定义后，可用式1得出角度：1=57.2arctanyx， 0190180-57.2arctanyx， 901180 1根据图6，分别使用三角度表示的1，2和3。用于计算1的方法是矢量分析，对
11、于2和3，用二维逆运动学来计算角度。通过求解1，将问题转化为二维平面，可以用二维逆运动学的方法求解2和3。由于其复杂性，忽略了详细的分析方法。该方法的一般建模如图7所示。图中的1对应2， 2对应3。3.3 通过臂章获取手抓控制角度Myo臂章通过采集手臂不同动作下的肌肉释放的电流信号，通过蓝牙4.0传输至计算机进行分析处理，识别出图8所示的位移、双击、握拳、手指伸展、手腕左摆、手腕右摆和手臂旋转7种手势状态。图8e手势 “手腕左摆状态使角5 累加;图8f手势“手腕右摆状态使角5依次递减;图8b手势“双击状态暂停角5至当前位置 ;图8c手势“握拳让夹持器握紧;图8d手势“手指伸展让夹持器张开。4
12、机械臂控制系统将视觉传感器Kinect采样计算得出的角度和Myo臂章获取的数据通过WiFi远程传输，通过主控制器反解求得PWM数据来驱动机械臂上的伺服电机。该算法应用逆运动学原理，由于该算法以人体手臂姿态为导向，伺服电机的实际角度并不一定等于或接近于人体大臂与小臂之间的真实角度。这说明，Kinect计算得出的角度决定末端执行器的位置，而不是人体手臂的实际位置。通过安装在执行器末端的地磁传感器，检测返回6个关节点的三维空间数据进行优化校准机械臂的最终姿态。控制系统软件流程：首先对所有对象进行初始化，然后获取视觉传感器和Myo臂章数据，通过PC进行处理，在GUI面板上描绘骨骼点和显示相关数据。同时
13、，传输数据到主控制器内进行验证解析，以驱动整个机械臂动作。按下键盘“Ctrl+C即终止程序。此控制系统采用C+编程语言编写，编写工具为 Visual Studio 2023，编写环境为NetFrameWork 4.5以及 Kinect sdk 2.0工具包，控制系统软件的UI 界面如图9所示。5 系统测试本文系统测试分为视觉传感系统和可穿戴体感系统。两个子系统分别经过近100次测试，状态稳定，误差为5%，在允许范围内。图10为视觉传感系统的局部优秀测试结果。可穿戴传感子系统测试图11为小臂转动的数据测试，图12为手腕左摆测试，图13为握拳测试。为保证两个子系统融合后的整机系统稳定运行，通过测试
14、延迟指标能判断负载是否可以正常运行，其中延迟测试曲线如图14所示，可见系统潜在的延迟很低，可确保整个系统正常运行。整机系统测试效果如图15所示。6 结 论通过对视觉传感器采集计算人体骨骼的关节坐标数据13，和可穿戴体感传感器获取小臂及手腕的动作信息，最终实现对6 自由度机械手臂进行控制。从而实现了对体感控制这种自然人机互动方式来进行人与机器人之间的交互方式的改进。通过实验数据可以看出使用视觉传感器和可穿戴式体感传感器的GUI交互方式能实现精准控制机械臂，大大提高人机交互的效率，极大地简化了人与机器人之间的交互;而且实现方式简单，对于以后医学康复、拆弹、航天远程操控领域都有非常重要的意义。注：本
15、文通讯作者为李捍东。参考文献1 钟君，曹建树.基于Kinect V2. 0的6自由度机械臂控制系统的实现J.机床与液压，20235：8892.2 王松林.基于Kinect的手势识别与机器人控制技术研究D.北京：北京交通大学，2023.3 陈杰，方浩，辛斌.多智能体系统的协同群集运动控制M.北京：科学出版社，2023.4 李红波，李双生，孙舶源.基于Kinect骨骼数据的人体动作姿势识别方法J.计算机工程与设计，20234：969975.5 辛义忠，邢志飞.基于Kinect的人体动作识别方法J. 计算机工程与设计，2023，374：224229.6 辛菁，苟蛟龙，马晓敏，等.基于Kinect的移动机器人大视角3维VSLAMJ.机器人，20235：560568.7 潘溯源.现场交互艺术的交互系统与控制行为设计：以Myo腕带为例J.中国传媒科技，20233：1417.8 吴国斌.Kinect人机交互开发实践M.北京：人民邮电出版社，2023.9 韩峥，刘华平，黄文炳，等