1、第 49卷 第 2期2023年 2月Computer Engineering 计算机工程人脸微表情分析方法综述于明1，钟元想1，王岩2（1.河北工业大学 人工智能与数据科学学院，天津 300401；2.天津商业大学 信息工程学院，天津 300134）摘要：微表情分析在医学、公共安全、商业谈判等领域得到广泛应用并备受关注。微表情运动幅度小、变化快，导致人工分析难度较大，开发一个可靠的自动化微表情分析系统非常有必要。随着计算机视觉技术的发展，研究人员能够结合相关算法捕捉微表情运动变化特征以用于微表情分析。阐述微表情分析的发展历程和现状，从多个角度对微表情分析的两大分支，即微表情检测方法和微表情识别
2、方法进行总结。整理现有微表情数据集以及微表情分析流程中常用的面部图像预处理方法。根据特征提取方式的不同，从基于时间特征、基于特征变化和基于深度特征这 3个方面对微表情检测方法进行阐述。将微表情识别方法归纳为基于纹理特征和基于光流特征的传统机器学习方法以及深度学习方法，其中，基于深度学习的微表情识别包括基于运动单元、基于关键帧和基于迁移学习的方法。通过不同实验指标对以上方法进行分析和比较，在此基础上，探讨当前微表情分析中存在的问题和挑战并展望该领域未来的发展方向。关键词：微表情分析；计算机视觉；微表情检测；微表情识别；深度学习开放科学（资源服务）标志码（OSID）：中文引用格式：于明，钟元想，王
3、岩.人脸微表情分析方法综述 J.计算机工程，2023，49（2）：1-14.英文引用格式：YU M，ZHONG Y X，WANG Y.A survey of facial micro-expression analysis methodsJ.Computer Engineering，2023，49（2）：1-14.A Survey of Facial Micro-Expression Analysis MethodsYU Ming1，ZHONG Yuanxiang1，WANG Yan2（1.School of Artificial Intelligence，Hebei University o
4、f Technology，Tianjin 300401，China；2.School of Information Engineering，Tianjin University of Commerce，Tianjin 300134，China）【Abstract】Micro-expression analysis has been widely used in the medical industry，public safety，business disputes and other fields and has attracted much attention.Manual analysis
5、 is challenging because the intensity of micro-expressions is relatively modest and they fluctuate quickly.Therefore，automated methods must be developed to perform micro-expression analysis.Driven by advancements in learning models，many works on computer vision have considered the use of subtle faci
6、al movements to investigate micro-expressions.This study thoroughly describes the evolution of micro-expression analysis.The two key issues involved，including detection and identification methods，are summarized rigorously from various perspectives in light of the current state of the art.First，exist
7、ing micro-expression datasets and facial image preprocessing methods that are commonly used in micro-expression analysis are summarized and introduced.Then，according to different feature extraction methods，micro-expression detection methods are divided into those that consider temporal features，feat
8、ure change，and depth features.Micro-expression recognition techniques are largely based on texture features，optical flow features of traditional machine learning methods，and deep learning methods.Deep learning methods have been developed for micro-expression recognition based on motion units，key fra
9、mes，and transfer learning methods.Thus，several experimental indicators are analyzed and compared.In conclusion，the current problems and challenges in micro-expression analysis are discussed and some possible directions for future development are suggested.【Key words】micro-expression analysis；compute
10、r vision；micro-expression detection；micro-expression recognition；deep learningDOI：10.19678/j.issn.1000-3428.0065790基金项目：河北省自然科学基金（F2019202381，F2019202464，F2020202025，F2021202030）。作者简介：于明（1964），男，教授、博士，主研方向为图像处理、模式识别、智能感知与优化算法；钟元想，硕士研究生；王岩，讲师、博士。收稿日期：2022-09-19 修回日期：2022-11-18 Email：热点与综述文章编号：1000-34
11、28（2023）02-0001-14 文献标志码：A 中图分类号：TP3912023年 2月 15日Computer Engineering 计算机工程0概述 面部表情、肢体语言、语音等能够反映人类的真实情感，其中，面部表情是人类情感的重要表达方式之一。很多学者利用计算机视觉技术对面部表情进行分析，进而将其应用到医疗服务1、学生课堂质量检测2、测谎3等人机交互系统中。面部表情分为宏表情和微表情。宏表情是主动发生的，可以伪造，有着较大的运动幅度。微表情持续时间较短，运动幅度较小，是下意识发生的，表示一个人在尝试抑制真实情感时的一种情感泄露，其可以揭示人类的真实情感，因此，分析微表情能够发现潜在的
12、心理活动。2003年，EKMAN开发了微表情培训工具（Micro-Expression Training Tool，METT），利用该工具可以进行微表情识别4。然而，这种方式耗费时间过长，且只能取得 50%左右的准确率。因此，众多学者尝试开发基于计算机视觉技术的微表情自动分析系统。在研究初期，主要采用结合机器学习的多阶段训练方式，先提取具有判别性的微表情运动特征，再训练一个可靠的分类器。芬兰奥卢大学的赵国英研究团队5-7采用局部二值模式（Local Binary Pattern，LBP）以及扩展算法捕捉面部纹理信息。中国科学院心理所的王甦菁团队提出主方向平均光流（Main Directiona
13、l Mean Optical-flow，MDMO）8、张量独立的颜色空间9等方法；山东大学的贲睍烨团队针对高维张量数据不易提取判别信息的问题，研发基于张量的最大边缘投影用于微表情识别10。随着卷积神经网络（Convolutional Neural Networks，CNN）在各个领域的广泛应用，许多研究人员将 CNN与长短期记忆（Long Short-Term Memory，LSTM）网络相结合，研发端到端的微表情分析系统。KHOR等11将CNN与LSTM相结合提取微表情时空特征，但是该方法先提取空间特征再提取时序特征。LO等 12采用3DCNN网络表达空间信息与时间信息之间的关系。近年来，T
14、ransformer因其能够发现图像全局依赖关系而在相关领域取得了良好表现，ZHOU等13尝试利用Transformer的这一优势，挖掘微表情面部全局运动关联。微表情分析包括检测和识别两个部分。微表情检测是在微表情视频中判断是否存在微表情并定位时间位置。微表情识别是对存在微表情的图像或视频进行分类。本文分析微表情数据集和面部图像序列预处理方法，总结近年来微表情检测和微表情识别方面的研究成果。首先分析基于传统机器学习和基于深度学习的微表情检测方法，其中，将机器学习方法细分为基于时间特征和基于特征变化的方法；然后比较基于纹理特征、基于光流特征和基于深度学习的微表情识别方法，在深度学习微表情识别方法
15、中，从面部区域运动、关键帧、样本量等角度进行区分；最后通过多个实验指标比较各类方法的特点，并对该领域未来的发展方向进行展望。1微表情数据集 微表情分析技术的发展依赖于完善的数据集，现有微表情数据集可分为两类：一类是非自发的微表情数据集，包括美国南佛罗里达大学创建的 USF-HD14、日本筑波大学创建的 Polikovsky 数据集15；另一类是自发的微表情数据集，包括芬兰奥卢大学创 建 的 SMIC16，中 国 科 学 院 创 建 的 CASME17、CASMEII18、CAS（ME）2 19、CAS（ME）3 20，英国曼彻斯特城市大学创建的 SAMM21，山东大学创建的MMEW22，加 拿
16、 大 PORTER 团 队 创 建 的 York DDT23。表 1对上述数据集进行分析与归纳，其中，FACS（Facial Action Coding System）表示面部动作编码系统。在上述数据集中，USF-HD、Polikovsky 和 York DDT 并未公开。USF-HD 中的受试者被要求同时表现宏表情和微表情，主要用于区分宏表情和微表情。Polikovsky中的受试者被要求模拟微表情动作，主要用于分析微表情所处阶段。York DDT 由自发微表情组成，主要用于测谎。表 1微表情数据集 Table 1Micro-expression datasets数据集USF-HDPolikovskyYork DDTSMICCASMECASMEIICAS(ME)2CAS(ME)3SAMMMMEW子集HSVISNIRPart APart BPart C样本数1004218164717119524757943166159300帧率/(帧s1)29.7200.025.0100.025.025.060.0200.030.030.0200.090.0表情类别3854787标注方式微/非微FACS
