1、2023 年第 3 期计算机与数字工程收稿日期：2022年8月1日，修回日期：2022年9月12日基金项目：山西省应用基础研究项目（编号：201801D221179）；太原科技大学校博士科研启动基金项目（编号：20162036）资助。作者简介：陈立潮，男，教授，研究方向：大数据与智能软件、区块链。王冠男，男，硕士研究生，研究方向：智能图像识别。1引言交通事故是现今世界上每个国家都非常重视的社会危害，已经被全球各个国家一致认为是目前全球范围内对人类生命安全造成最大伤害的隐患。每年有超过60万人在交通事故中失去生命。根据欧洲和美国在交通事故中的伤亡人数统计表明，大约八到九成的交通事故是因为人为因素
2、造成的1。依照美国国家安全局的数据显示，随着社会的发展和人均车辆数目的增加，美国每年都会因为司机疲劳驾驶而造成十多万起以上的交通事故，其中死亡人数超过两万人2。在欧洲因为这种因疲劳驾驶而导致的交通事故也具有高死亡率。比如在德意志联邦共和国境内，高速公路上因为疲劳驾驶而造成的驾驶员或者乘客伤亡的交通事故超过四分之一3。新世纪以来，我国交通事业飞速发展，交通产业高速发展的背后也隐藏着巨大的危险。每年我国因为交通事故都会造成巨大的人员伤亡和经济损失。其中超过一半的交通事故是因为驾驶员疲劳操作引起的，经济损失高达百万美元基于面部多特征的驾驶员疲劳状态检测陈立潮王冠男（太原科技大学计算机科学与技术学院太
3、原030024）摘要鉴于传统的疲劳检测模型通过驾驶员单一疲劳特征检测具有局限性的问题，提出了一种新的驾驶员疲劳检测模型。首先使用改进的AdaBoost算法进行人脸检测，解决复杂光源和背景的影响，提高人脸检测效率。然后用LBF算法进行人眼检测，用三庭五眼法进行嘴部检测，通过人眼高宽比和像素比检测人眼闭合程度，通过嘴部高宽比和圆形度检测嘴部打哈欠状态，再综合眼部疲劳特征计算闭眼时间，利用打哈欠频率计算嘴部疲劳。最后综合上述疲劳特征检测驾驶员疲劳状态。实验表明该方法可有效检测驾驶员疲劳状态，满足疲劳检测系统对实时性、鲁棒性的要求。关键词疲劳驾驶；人脸检测；局部约束模型；Adaboost中图分类号U4
4、71.3DOI：10.3969/j.issn.1672-9722.2023.03.034Driver Fatigue State Detection Based on Facial Multi-featuresCHEN LichaoWANG Guannan（College of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan030024）AbstractIn view of the limitation of the traditional fatigue detectio
5、n model，a new driver fatigue detection model is proposed.Firstly，the improved AdaBoost algorithm is used for face detection to solve the influence of complex light source and backgroundand improve the efficiency of face detection.Then LBF algorithm is used to detect human eyes，and mouth is detected
6、bythree-court five-eye method.The degree of human eyes closure is detected by eye height-width ratio and pixel ratio，and the stateof mouth yawning is detected by mouth height-width ratio and circular degree，then，the time of closing eyes is calculated by combining the features of eye fatigue，and the
7、frequency of yawning is used to calculate mouth fatigue.Finally，the drivers fatigue stateis detected by synthesizing the above fatigue characteristics.The experimental results show that the method can detect the fatiguestate of the driver effectively and meet the requirements of real-time and robust
8、ness of the fatigue detection system.Key Wordsfatigue driving，face detection，local constraint model，AdaboostClass NumberU471.3总第 401期2023 年第 3期计算机与数字工程Computer&Digital EngineeringVol.51No.3721第 51 卷之巨4。有关汽车驾驶员的疲劳检测问题已经迫在眉睫，全球很多国家和地区也都将疲劳驾驶预警系统的开发工作列入一级任务。各国对于疲劳驾驶的研究总体可以分为三类5：基于驾驶员生理信号的检测，基于驾驶员脑电信号的检
9、测和基于驾驶员面部特征的检测。2014年王少楠等通过采集测试人员的脑电信号使用小波包变换进行特征提取，利用SVM分类，从而分析驾驶员的疲劳状态6。2015年陈志勇、杨佩等通过分析对车辆数据产生影响的多个指标如速度、方向盘转角等，选择疲劳评价指标，使用BP神经网络搭建疲劳状态识别模型7。但是基于驾驶员生理信号的检测方法具有侵入性，驾驶员需要佩戴较为精密且繁重的仪器，会对司机进行驾驶干扰而且仪器价格昂贵无法普及。而基于车辆运动特征的疲劳检测，会受到类似于路况信息，天气状况以及驾驶员行车习惯等多种外部条件的干扰，一般来说只能作为辅助参考，不具有全面性。近年来随着计算机视觉的发展，基于面部特征的检测成
10、为疲劳检测的主要方法。2009年，尹宝才等采用Gabor小波提取嘴角纹理特征，使用线性判别分析法进行打哈欠检测，从而判断疲劳状态8。2014年田祎提出了一种新的度量人眼状态变化的方法，并结合PERCLOS方法对疲劳状态进行分析9。2017年ZHAO等通过构建深度集成神经网络表示眼部区域信息，使用迁移学习提取眼部特征构建驾驶员睡意识别数据集10。2019年潘志庚、刘志飞等使用模糊综合评价算法对眼部疲劳的影响因子进行分析，推断出眼部状态，根据PERCLOS 原理进行疲劳检测11。同年，NgxandeM，Tapamo J R等使用生成对抗网络增加基于群体偏见的可视化策略的有针对性的数据，提高了疲劳检
11、测性能12。2020 年 Younes Ed-Doughmi 等提出了一种递归神经网络来分析和预测驾驶员睡意，利用数据集对模型进行建模和验证，实现了基于重复神经网络体系结构的多层模型三维卷积网络的驾驶疲劳检测13。但是上述研究大多数均是通过对驾驶员人眼或者其他单一部位进行疲劳检测，而且场景单一，在复杂场景下检测精度比较低。因此针对上述问题，本文提出一种多场景下的多特征驾驶员疲劳检测模型。首先使用改进的AdaBoost算法对复杂场景下的驾驶员人脸进行精准定位，然后使用使用改进后的LBF算法和三庭五眼法检测人眼和嘴部信息。再通过对人眼和嘴部的二值化图像进行多参数的疲劳特征计算，构建疲劳检测模型，如
12、图1所示。最后通过模型分析驾驶员的疲劳状态。实验表明本模型具有较高的准确率。图1疲劳检测模型结构2人脸检测2.1图像预处理当待检测图像存在背景复杂、人脸姿态有角度变化等问题时，误检率就会大大提升，最终导致检测结果的性能大打折扣。为此，本文在驾驶员人脸检测之前引入肤色区域分割算法缩小检测区域，从而达到缩短检测时间的效果。在待检测图像中，使用肤色区域分割算法排除较大部分非肤色区域，有效避免了复杂背景对驾驶员人脸检测的影响。肤色区域分割的效果对比如图2和图3所示。从图中可以看到通过YCbCr空间的肤色区域分割，减小了待检测区域，为后续的驾驶员人脸检测缩短了检测时间。图2肤色分割前的原图陈立潮等：基于
13、面部多特征的驾驶员疲劳状态检测7222023 年第 3 期计算机与数字工程图3肤色分割效果图据国家安全部和天津交警总队的数据表明，疲劳驾驶易发时段为深夜的24时至2时和凌晨的4时至6时。这两个时段中采集到的驾驶员人脸图像由于光照强度过低，导致人脸检测效率和检测率大大降低。因此，本文引入光照补偿算法，对待检测的夜间驾驶员人脸进行光照增强，提高夜间驾驶员人脸检测效率。光照补偿效果如图4和图5所示。在光照强度差的环境下，提升驾驶员人脸待检测图像的光照强度，为下一步的驾驶员人脸检测打好基础。图4光照补偿前的原图图5光照补偿效果图2.2人脸检测本文采用改进的 AdaBoost 算法进行人脸检测。现行Ad
14、aBoost算法的样本权重更新规则注重困难样本，即被分错的样本在算法后续可得到更多重视，但它存在缺点：很难对训练样本中包含的噪声样本或一些罕见困难样本进行正确分类，算法会将训练重点转移到分类困难的样本上，即这些样本的权重会成倍增加，这样就可能造成梯度爆炸的现象。而且过分重视困难样本，随着迭代次数的增加，正确的分类规则会慢慢丢失，从而大大影响算法性能。为了解决上述问题，本文将弱分类器的权重系数进行动态调整，得到训练样本在传统AdaBoost算法中弱分类器和其相对应的权重系数mt，计算每一个弱分类器对待检测样本周围多个训练样本的分类准确率nt，将各个弱分类器的权重系数改为mt*nt，利用局部敏感哈
15、希方法的余弦相似性寻找待检测样本的近邻点14。再将待检测样本通过局部敏感哈希方式哈希到一起，则该区域的其它数据是待检测样本的近邻样本数据，这些数据构建成新的测试集 D，然后各个弱分类器对 D 进行分类测试，从而判断各个弱分类器与M的匹配程度，最后，将其分类的准确率作为M的动态权重系数，如下式（1）所示。=K个近邻点中分类正确的样本数量近邻样本数量K（1）动态权重系数算法如下：Step1.利用局部敏感哈希方式来从训练集中找到相似的样本数据，并将它们组合成一个新的测试集D；Step2.使用弱分类器i对新的测试集合进行分类测试，利用式（1）计算动态权重系数；Step3.得到最终的强分类器。本文通过改
16、进的AdaBoost算法对驾驶员人脸进行检测，使用矩形框标记人脸区域，返回该区域的宽度与高度值。检测结果如图6所示。图6人脸检测3面部特征检测检测到人脸后，本文通过改进的LBF算法进行人眼定位，利用三庭五眼的方法进行嘴部定位。3.1人眼定位在驾驶员人眼的检测中，人眼图像往往会因为光照、遮挡等复杂场景而难以定位，从而影响检测精度。因此提出了一种改进的人眼检测算法。本文首先通过样本训练好局部约束模型模型，然后利用基于回归的局部二值特征法检测人眼图像，最后把人眼的位置和图像信息传递给约束局部模型，精确检测到人眼特征点。步骤如下：Step1.构建人眼形状模型。首先手工标定训练样本，通过标定特征点表示人眼形状，将样本的723第 51 卷特征点用向量表示，将所有的向量构建成的向量组所求均值表示人眼。Step2.构建局部补丁模型，让每个特征点在邻域内寻找最佳匹配点。Step3.使用LBF算法进行人眼检测。Step4.CLM拟合。对新图像中的目标建立新模型，用训练好的模型与新模型进行拟合定位特征点。Step5.利用优化策略优化模型参数直到精确定位人眼。3.2嘴部定位本文基于三庭五眼的方法对嘴部进行定位