1、D O I:1 0.1 6 1 3 6/j.j o e l.2 0 2 3.0 2.0 1 9 0融合双层注意力与多流卷积的肌电手势识别记忆网络刘 聪1,2,3*,许婷婷1,2,马钰同1,2,刘 粤1,2,孔祥斌1,2,胡 胜1,2(1.湖北工业大学 电气与电子工程学院,湖北 武汉4 3 0 0 6 8;2.太阳能高效利用湖北省协同创新中心,湖北 武汉4 3 0 0 6 8;3.武汉华安科技有限股份有限公司,博士后科研工作站,湖北 武汉4 3 0 0 6 8)摘要:针对表面肌电 信 号(s u r f a c ee l e c t r o m y o g r a p h y,s EMG)手 势
2、 识 别 使 用 卷 积 神 经 网 络(c o n v o l u-t i o n a l n e u r a l n e t w o r k,C NN)提取特征不够充分,且忽略时 序 信 息 而 导 致 识 别 精 度 不 高 的 问 题,本文创新性地 提 出 了 一 种 融 合 双 层 注 意 力 与 多 流 卷 积 神 经 网 络(m u l t i-s t r e a mc o n v o l u t i o n a ln e u r a ln e t w o r k,MS-C NN)的s EMG手势识别记忆 网 络 模 型。首 先,利 用 滑 动 窗 口 生 成 的 表 面 肌 电
3、 图 像作为该模型的输入;然后在MS-C NN中嵌入通道注意力层(c h a n n e l a t t e n t i o nm o d u l e,C AM),弱 化无关信息,使网络能够 更 加 专 注s EMG的 有 效 特 征;其 次,通 过 长 短 期 记 忆 网 络(l o n gs h o r t t e r mm e m o r yn e t w o r k,L S TM)对输入的特征进 行 时 序 上 的 激 励,关 注 更 多s EMG的 时 序 信 息,让 网 络在时间维度上拥有更 强 的 学 习 能 力;最 后,采 用 时 序 注 意 力(t i m e-s e q u
4、 e n c ea t t e n t i o n,T S A)层 对L S TM的状态进行关注,从而更 好 地 学 习 重 要 肌 肉 信 息,提 高 手 势 识 别 精 度。在N i n a P r o数 据 集上进行实验测试,结果表明,使用 本 文 提 出 的 网 络 模 型 在D B 1数 据 集 和D B 2数 据 集 的 手 势 识 别精度分别达到了8 6.4 2%和8 0.6 0%,高于大多数主流模型,充分验证了模型的有效性。关键词:表 面 肌 电 信 号(s EMG);手 势 识 别;多 流 卷 积 神 经 网 络(MS-C NN);长 短 期 记 忆 网 络(L S TM);
5、注意力机制中图分类号:T P 3 9 1 文献标识码:A 文章编号:1 0 0 5-0 0 8 6(2 0 2 3)0 2-0 1 8 0-1 0I n c o r p o r a t i n gt w o-l a y e ra t t e n t i o na n dm u l t i-s t r e a mc o n v o l u t i o n a lf o r s E M Gg e s t u r e r e c o g n i t i o nm e m o r yn e t w o r k sL I U C o n g1,2,3*,X U T i n g t i n g1,2,MA
6、 Y u t o n g1,2,L I U Y u e1,2,K O N G X i a n g b i n1,2,HUS h e n g1,2(1.S c h o o lo fE l e c t r i c a la n dE l e c t r o n i cE n g i n e e r i n g,H u b e iU n i v e r s i t yo fT e c h n o l o g y,W u h a n,H u b e i4 3 0 0 6 8,C h i n a;2.H u b e iC o l l a b o r a t i v eI n n o v a t i o
7、nC e n t e r f o rH i g h-e f f i c i e n c yU t i l i z a t i o no fS o l a rE n e r g y,W u h a n,H u b e i4 3 0 0 6 8,C h i n a;3.P o s t d o c t o r a lW o r k s t a t i o n,W u h a nH u a a nS c i e n c ea n dT e c h n o l o g yC o.,L t d.,W u h a n,H u b e i4 3 0 0 6 8,C h i n a)A b s t r a c
8、t:T os o l v e t h ep r o b l e m s o f i n s u f f i c i e n t f e a t u r e e x t r a c t i o na n d i g n o r i n g t i m e s e r i e s i n f o r m a t i o nu-s i n g c o n v o l u t i o n a l n e u r a l n e t w o r k(C N N)t o e x t r a c t f e a t u r e s o f s u r f a c e e l e c t r o m y o
9、g r a p h y(s E MG)g e s-t u r er e c o g n i t i o n,r e s u l t i n gi nl o wr e c o g n i t i o na c c u r a c y,t h i sp a p e ri n n o v a t i v e l yp r o p o s e di n c o r p o r a t i n gt w o-l a y e r a t t e n t i o n a n dm u l t i-s t r e a mc o n v o l u t i o n a l n e u r a l n e t w
10、 o r k(M S-C N N)f o r s E MGg e s t u r e r e c o g-n i t i o nm e m o r y n e t w o r k sm o d e l.F i r s t l y,s E MG i m a g e s g e n e r a t e d b y s l i d i n gw i n d o w s a r e u s e d a s t h e i n p u to f t h i sm o d e l;t h e n t h e c h a n n e l a t t e n t i o nm o d u l e(C AM)i
11、 s e m b e d d e d i na nM S-C N Nt ow e a k e n i r r e l e-v a n t i n f o r m a t i o na n d e n a b l e t h e n e t w o r k t o f o c u sm o r e o n t h e k e y f e a t u r e s o f s E MG;s e c o n d l y,u s i n g t h el o n gs h o r t t e r m m e m o r yn e t w o r k(L S TM)f o rm o t i v a t i
12、 n gt h e i n p u t f e a t u r e s i nt i m e-s e q u e n c et op a ym o r e a t t e n t i o n t o t h e t i m e-s e q u e n c e i n f o r m a t i o no f s E MG,w h i c he n a b l e sn e t w o r kh a s a s t r o n g e r l e a r n-i n ga b i l i t y i n t h e t i m e-d i m e n s i o n;f i n a l l y,
13、f o c u s i n go ns t a t e s o fL S TMb y t i m e-s e q u e n c e a t t e n t i o n(T S A)光 电 子 激 光第3 4卷 第2期 2 0 2 3年2月 J o u r n a l o fO p t o e l e c t r o n i c sL a s e r V o l.3 4N o.2 F e b r u a r y2 0 2 3*E-m a i l:2 0 1 8 1 0 0 8 h b u t.e d u.c n收稿日期:2 0 2 2-0 3-2 3 修订日期:2 0 2 2-0 4-2 9基
14、金项目:国家自然科学基金(6 1 9 0 1 1 6 5)资助项目l a y e r t o l e a r n i m p o r t a n tm u s c l e i n f o r m a t i o nb e t t e r f o r i m p r o v i n gg e s t u r e r e c o g n i t i o na c c u r a c y.P e r f o r m-i n ge x p e r i m e n t a l t e s t s o n t h eN i n a P r od a t a s e t a n d t h e r e s
15、u l t s s h o wt h a t t h e g e s t u r e r e c o g n i t i o n a c c u r a c yi n t h eD B 1d a t a s e t a n dD B 2d a t a s e t h a s r e a c h e d 8 6.4 2%a n d 8 0.6 0%u s i n g t h e n e t w o r km o d e l p r o p o s e db y t h i s p a p e r,w h i c h i s h i g h e r t h a nm o s tm a i n s
16、t r e a mm o d e l s,w h i c h f u l l y v e r i f i e s t h e e f f e c t i v e n e s s o f t h em o d e l.K e yw o r d s:s u r f a c ee l e c t r o m y o g r a p h y(s E MG);g e s t u r er e c o g n i t i o n;m u l t i-s t r e a mc o n v o l u t i o n a ln e u r a ln e t w o r k(M S-C N N);l o n gs h o r t t e r mm e m o r yn e t w o r k(L S TM);a t t e n t i o nm e c h a n i s m0 引 言 随 着 科 学 技 术 的 发 展,手 势 识 别 在 人 机 交互1中被广泛应用,如手语识别2、机器人设备控制3、虚拟现实游戏4(v i r t u a l r e a l i t y,VR)和假肢控制5等。为了有 效
