1、2023 03 10计算机应用,Journal of Computer Applications2023,43(3):692-699ISSN 10019081CODEN JYIIDUhttp：/面向时间序列的混合图像化循环胶囊分类网络陈容均1，2，严宣辉1，2*，杨超城1，2（1.福建师范大学 计算机与网络空间安全学院，福州 350117；2.数字福建环境监测物联网实验室（福建师范大学），福州 350117）（通信作者电子邮箱）摘要：针对时间序列图像化缺少时间关联关系与空间位置关系的问题，提出面向时间序列的混合图像化循环胶囊神经网络（FIR-Capsnet）以融合并提取时间序列图像的时空信息。
2、首先通过格拉姆角场（GAF）、马尔可夫跃迁场（MTF）与重现图（RP）方法捕获时间序列图像的多水平时空特征；然后利用胶囊神经网络的旋转不变性与路由迭代算法学习时间序列图像的空间关系；最后引入长短时记忆（LSTM）网络的门机制学习时间序列数据隐含的时间关联性。实验结果表明，FIR-Capsnet在30个UCR公开数据集上取得15次胜利；并且在人体活动识别（HAR）数据集上相较于Fusion-CNN、FIR-Capsnet的分类准确率提高7.2个百分点，说明了FIR-Capsnet处理时序数据的优势。关键词：模式识别；时间序列分类；深度学习；时间序列图像化；循环胶囊神经网络中图分类号：TP391.
3、4 文献标志码：AFusion imaging-based recurrent capsule classification network for time seriesCHEN Rongjun1，2，YAN Xuanhui1，2*，YANG Chaocheng1，2（1.College of Computer and Cyberspace Security，Fujian Normal University，Fuzhou Fujian 350117，China；2.Digital Fujian Internet-of-Things Laboratory of Environmental Mo
4、nitoring（Fujian Normal University），Fuzhou Fujian 350117，China）Abstract:To address the problem of lack of temporal correlations and spatial location relationships in imaging time series，Fusion-Imaing Recurrent Capsule Neural Network（FIR-Capsnet）for time series was proposed to fuse and extract spatial
5、-temporal information from time series images.Firstly，the multi-level spatial-temporal features of time series images were captured by using Gramian Angular Field（GAF），Markov Transition Field（MTF）and Recurrence Plot（RP）.Then，the spatial relationships of time series images were learnt by the rotation
6、 invariance of capsule neural network and iterative routing algorithm.Finally，the temporal correlations hidden in the time series data were learnt by the gate mechanism of Long-Short Term Memory（LSTM）network.Experimental results show that FIR-Capsnet achieves 15 wins on 30 UCR public datasets and ou
7、tperforms Fusion-CNN by 7.2 percentage points in classification accuracy on Human Activity Recognition（HAR）dataset，illustrating the advantages of FIR-Capsnet in processing time series data.Key words:pattern recognition;time series classification;deep learning;imaging time series;recurrent capsule ne
8、ural network0 引言 时间序列数据广泛存在于各个领域，对它的分析被认为是数据挖掘领域最具挑战性的问题 1-2。时间序列分析主要分为两类：1）时间序列预测3，如对产品需求量的预测有助于提高仓库的利用率4；对道路人流量的预测可以提前制定交通管理措施5-6；对股票趋势的预测有助于制定合理的投资策略7-8。2）时间序列的分类，如对心电图信号进行分类以帮助医生诊断病情9-10；用可穿戴的移动传感器采集人们运动时跑步、走路、游泳等行为活动数据，以便于在老年人康复、环境辅助生活、智能家居等多领域中改善人们的生活11-12；分析电力系统的监测数据，有助于及时发现故障以提高电力系统的安全性13。可以
9、看出，时间序列的应用场景十分广泛，对时间序列预测和分类的研究有着重要意义。传统的时间序列分类算法通常需要基于数据间的某种相似或相异性度量，因此可以将时间序列分类算法概括为以下四类：1）基于时域相似性的分类算法。这类算法主要采用基于某种距离度量的最近邻（One-Nearest Neighbor，1-NN）方法，如欧氏距离和动态时间归整（Dynamic Time Warping，DTW）14等。2）基 于 形 状 相 似 性 的 分 类 算 法。如 STC（Shapelet Transform Classifier）15是一种基于 Shapelet16方法的分类模型，它通过计算时间序列特征中与前
10、k 个 Shapelet的距离实现分类。3）基于变化相似性的分类算法。如 TSF（Time Series Forest）17和 RISE（Random Interval Spectral Ensemble）18算法通过时间序列中所包含的潜在间隔变化信息进行分类。4）基于字典相似性的分类算法。如符号-傅里叶近似的符号袋算法（Bag Of Symbolic-Fourier approximation Symbols，BOSS）19和时间序列分类的词汇提取算法（Word ExtrAction for time SEries cLassification，WEASEL）20，对时间序列提取出子序列，每
11、个子序列通过符号化的傅里叶近似法（Symbolic Fourier Approximation，SFA）21得到符号特征，对符文章编号：1001-9081（2023）03-0692-08DOI：10.11772/j.issn.1001-9081.2022010089收稿日期：20220125；修回日期：20220419；录用日期：20220420。基金项目：福建省科技厅引导性项目（2020H0011）。作者简介：陈容均（1996），男，福建三明人，硕士研究生，主要研究方向：深度学习、时间序列分析；严宣辉（1968），男，福建福州人，副教授，博士，主要研究方向：人工智能、深度学习；杨超城（199
12、6），男，河南周口人，硕士研究生，主要研究方向：时间序列分析、机器学习。第 3 期陈容均等：面向时间序列的混合图像化循环胶囊分类网络号特征统计频率并作为时间序列子序列的特征，所有子序列的特征作为逻辑回归的输入对时间序列分类。近些年来，深度学习被一些学者用于解决时间序列的分类 问 题，如 多 级 小 波 分 解 网 络（multilevel Wavelet Decomposition Network，mWDN）22、多 尺 度 卷 积 神 经 网 络（Multi-scale Convolutional Neural Network，MCNN）23、时序卷积 神 经 网 络（Time Series
13、 Convolutional Neural Network，TSCNN）24和时间序列注意原型网络（Time series attentional prototype Network，TapNet）25等。最经典的方法是将时序数据转换为二维时序图像，二维时序图像可以建立时空信息，并且应用计算机视觉领域成熟稳定的模型如卷积神经网络（Convolutional Neural Network，CNN），对时序图像进行分析与挖掘26。目前，研究人员提出了众多的序列图像化方法。例如，Chan等27利用小波变换从信号中提取信息，通过伸缩平移等运算将信号转换成为时频图；Wang等28用格拉姆角场（Grami
14、an Angular Field，GAF）和马尔可夫跃迁场（Markov Transition Field，MTF）将时间序列转为图像；Hatami 等29用重现图（Recurrence Plot，RP）和 CNN 进行分类得到 RP-CNN模型；Rodrigues等30提出绘图CNN模型，用简易绘图的方式将时序数据转换为图像，继而用CNN进行分类。但上述图像化方法具有一定的局限性：1）图像化方法通常只能表现序列数据的片面信息，如 GAF 只考虑了时间相关性，MTF只考虑了时间位置关系，RP只分析了时间序列周期性和平稳性。单一的图像化方法只能保留特定的特征，这导致在运用图像化方法之前需要分析时
15、序数据的构成因素31，才能得到一个相对较好的结果。2）用 CNN 对序列图像进行分类时，卷积的平移不变性无法感受到输入时序数据的变化，这将弱化网络提取空间信息的能力。3）在卷积的过程中，由于感视野受到卷积核大小的限制32，无法学习到时序图像中动态的时间关联信息。为了解决上述问题，本文提出一种混合图像化循环胶囊神经网络（Fusion-Imaging Recurrent Capsule neural network，FIR-Capsnet），特色与优势在于：1）FIR-Capsnet 结合 GAF、RP、MTF三种图像化方法的优势，构造可以表现时序数据不同特征的多通道图像，以此融合时序数据所蕴含的
16、多侧面时空特征，如时间相关性、位置关系、周期性和平稳性；2）引入胶囊神经网络，提取更多的潜在空间特征，并赋予一种内禀的注意力机制33，强化浅层特征的提取和挖掘空间信息，提升网络鲁棒性；3）结合长短时记忆（Long-Short Term Memory，LSTM）网络的门机制与胶囊的旋转不变性实现神经元的激活和冻结，使胶囊特征之间具有记忆关联性，以此学习时序图像蕴含的时间特征，提高胶囊神经元的表达能力。此外，为了说明 FIR-Capsnet 将循环记忆机制用于胶囊层的优势，本文同时将循环记忆机制运用于动态路由算法中，并通过对比实验分析循环记忆机制结合胶囊网络在不同阶段的优势。1 问题定义与数据处理 1.1问题描述和符号定义在单变量时间序列分类问题中，一个样本表示为二元组T，y，其中：T由L个观测值(T1，T2，TL)构成；y为类别的离散值，有 NC种可能性。定义映射函数y=f*(T；)，分类算法的目标是学习该映射的最优参数，以尽可能地逼近函数f*。1.2时间序列图像化处理时间序列在一维空间上有多组特征，特征之间通常具有高度的关联性。例如，在一维的空间中，更多体现时序、周期、频率等特征。但一
