1、第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023基于Informer的电池荷电状态估算及其稀疏优化方法何滢婕，刘月峰，边浩东，郭威，张小燕（内蒙古科技大学信息工程学院，内蒙古包头 014010）摘要：准确估计电池荷电状态（State Of Charge，SOC）是延长电动汽车电池使用寿命，确保电动汽车行驶安全的重要基础.传统的深度学习估计方法存在并行化计算效率不高、训练时间长的问题.为此，利用基于自注意力机制的Informer模型来估计电池SOC.其降低了传统自注意力机制的时间复杂度、提高了硬件使用率、降低了训练时长，与其
2、他深度学习方法相比估计更准确.然而Informer模型仍然存在体量大及参数冗余的问题，故提出稀疏优化方法.利用基于彩票假设的幅值迭代剪枝方法对Informer进行稀疏化处理，突出主导注意力特征，实现了在降低参数冗余的同时提升模型估计精度.在室温下，提出的稀疏化Informer模型估计电池SOC的平均绝对误差和均方根误差分别达到0.285 8%和0.383 0%，相比于Informer模型在平均绝对误差指标上估计精度提升了25%.并验证了其具备估计不同类型锂电池SOC的泛化能力.与循环神经网络、卷积神经网络这类传统的深度学习模型相比，本模型进行电池SOC估计时训练速度更快，估计准确性和稳定性更高
3、.关键词：荷电状态；锂离子电池；深度学习；编解码结构；自注意力机制基金项目：内蒙古纪检监察大数据实验室开放课题基金（No.IMDBD20200220）中图分类号：TM912；TP183文献标识码：A文章编号：0372-2112(2023)01-0050-07电子学报URL:http:/DOI:10.12263/DZXB.20211640State-of-Charge Estimation of Lithium-ion Battery Based on Informer and Its Sparse Optimization MethodHE Ying-jie,LIU Yue-feng,BIAN
4、 Hao-dong,GUO Wei,ZHANG Xiao-yan(School of Information Engineering,Inner Mongolia University of Science and Technology,Baotou,Inner Mongolia 014010,China)Abstract:Accurate estimation of the state of charge(SOC)is an important basis for extending the battery life and ensuring the safety of electric v
5、ehicles.Traditional deep learning estimation methods suffer from inefficient parallelization and lengthy training time.To this end,the Informer model based on the self-attention mechanism is used to estimate the battery SOC,which reduces the time complexity of the traditional self-attention and trai
6、ning time,increases the hardware usage.It is more accurate than other deep learning methods.However,the Informer model still has the problems of large and redundant parameters,therefore a sparse optimization method is proposed.The iterative magnitude pruning method based on the lottery ticket hypoth
7、esis is used to sparse the Informer,highlighting the dominant attention feature and improving model estimation accuracy while reducing parameter redundancy.The proposed sparse-Informers root mean square error and mean absolute error are 0.383 0%and 0.285 8%at room temperature,respectively.The mean a
8、bsolute error is decreased by 25%compared to Informer model.Additionally,the generalization ability to estimate the SOC across other lithium-ion battery types is confirmed.When performing battery SOC estimation,this model outperforms other established deep learning models in terms of training speed,
9、estimation accuracy and stability.Key words:state of charge;lithium-ion battery;deep learning;encoder and decoder;self-attention mechanismFoundation Item(s):Inner Mongolia Discipline Inspection and Supervision Big Data Laboratory Open Project Fund(No.IMDBD20200220)1引言发展新能源汽车是应对气候变化、推动绿色发展的重要战略举措1.我国
10、新能源汽车产业以发展纯电动汽车为主，其中锂离子电池因具备长使用寿命、低自放电率、高能量密度、零记忆效应等优势成为现在电动汽车的主要供能系统2.为确保电动汽车在运行过程收稿日期：2021-12-09；修回日期：2022-08-15；责任编辑：李勇锋第 1 期何滢婕:基于Informer的电池荷电状态估算及其稀疏优化方法中的安全和稳定，需要电池管理系统（Battery Management System，BMS）对电池状态进行监测，其中最重要的是电池荷电状态（State Of Charge，SOC）3.电池SOC代表电池中的剩余电量，又间接表示电动汽车的剩余行驶里程.准确的SOC估计给驾驶员提供车
11、辆状态信息，可避免出现电池过充或过放等不良情况，保证了汽车使用过程中的安全性4.但在现存传感器技术下，电动汽车运行过程中的电池SOC无法直接测量得到，需通过相关变量信息间接估计，使得对电池SOC的准确估计成为一大难题.电池SOC估计作为电池研究的基础课题，一直是该领域的研究热点，几十年来研究人员对电池SOC的估计进行了多方面探索.现存估计电池SOC的方法包括传统估计方法、基于模型的方法以及数据驱动法5.由于目前传统估计方法和基于模型估计方法核心技术突破困难，使研究人员将更多目光转向数据驱动方法.基于数据驱动的方法可以直接将可测量变量如电流、电压、温度等直接映射为电池SOC，并针对不同电池类型和
12、驾驶工况都可进行有效估计.数据驱动的方法有很多，其中基于深度学习的方法因其强大的非线性映射能力而获得了广泛关注6.其中，Ephrem Chemali等人7在 2017 年应用长短期记忆神经网络（Long Short Term Memory，LSTM）方法直接对电池SOC进行估计，其在不使用滤波器的情况下，就将室温下SOC估计平均绝对误差（Mean Absolute Error，MAE）提高到 0.573%，掀起了应用深度学习方法对电池 SOC 估计的研究热潮.在文献 8 中，作者引入门控循环单元神经网络（Gated Recurrent Unit，GRU）对电池 SOC 进行估计，在多温度环境下
13、 MAE可达到 0.86%.还有研究人员9采用深度卷积神经网络（Convolutional Neural Network，CNN）在变化环境温度下均方根误差（Root Mean Square Error，RMSE）达到2%.此外，也有研究10将卷积神经网络和循环神经网络相结合，在无温度输入条件下MAE可达到0.402 7%.现存大多数深度学习SOC估计方法均已获得可观的估计效果.但仍存在一些问题，如大多数方法以LSTM和GRU为主，虽已获得了不错的估计效果.但是这类循环神经网络训练过程较难，需要很长的时间才能使模型收敛，通常需要好几个小时甚至是几天的时间.同时这类神经网络结构无法并行化，不能很
14、好的利用图形处理器（Graphics Processing Unit，GPU）的运算性能.此外，循环神经网络的变体在面对更长序列时仍存在不可避免的缺陷.因此，近期研究人员使用 Transformer11等结构代替了RNN，并已在计算机视觉以及自然语言处理领域取得了显著成果.Informer12在Transformer的基础上，通过其提出的概率稀疏自注意力和注意力蒸馏机制降低原始Transformer在长序列输入下的时间复杂度和内存占用率问题，已提高了电力变压器温度、用电负荷和天气预测的能力，但是这种模型结构存在数据冗余问题.基于此，本文提出基于Informer及其稀疏优化方法估计电动汽车锂离子
15、电池SOC.首先，通过Informer充分挖掘电池可测量变量间的时空间特征，实现电池SOC 的准确估计.其次，利用基于彩票假设的幅值迭代剪枝方法处理由自注意力机制导致的参数冗余问题，降低模型参数量，同时其稀疏结构可突出主要注意力特征图，进一步提升了模型估计精度.与现存的多种深度学习估计方法相比，稀疏化 Informer模型在大幅度缩短训练时间的基础上有较好的特征提取和预测能力.2Informer模型及稀疏优化方法Informer模型整体结构由编码器和解码器两部分组成.编解码器包含位置信息嵌入层、多头概率稀疏自注意力层和卷积蒸馏层.其基本思想是：使用位置信息嵌入层对输入序列进行时间编码，后采用多
16、个由多头概率稀疏自注意力和卷积层组成的神经网络模块进行深度特征提取，解码器上输入的电池相关变量信息通过与编码器上提取的深度特征图进行运算，捕获特征间的相关性，最终通过全连接层得到估计的电池SOC值.Informer模型整体结构如图1所示.2.1Informer网络结构2.1.1位置嵌入层使用Transformer结构解决时间序列预测问题需要通过位置编码为输入特征添加上下文信息，即相关时间信息.位置编码的方式有很多13，这里对每一个时刻的输入信息按正余弦函数的线性变换进行位置编码，以此来获取某一时刻的输入信息在整个输入序列中的图1Informer网络结构示意图51电子学报2023 年位置.具体计算方式如下：PE(pos,2i)=sin(pos100002i/dmodel)（1）PE(pos,2i+1)=cos(pos100002i/dmodel)（2）其中pos和i分别表示当前数据在输入序列中的位置和维度，dmodel是对原始数据进行升维操作时设定的维度.2.1.2概率稀疏自注意力原始Transformer中自注意力采用标准的点积计算方式，导致每个注意力层的时间复杂度为O(L2)，随着输