1、 人脸识别与人体动作识别 技术及应用 曹 林 著 Publishing House of Electronics Industry Publishing House of Electronics Industry 北京BEIJING 内 容 简 介 本书以模式识别的一些基本理论与方法为基础，重点讨论了模式识别在人脸识别、人脸配准、人脸检测、素描人脸识别、图像超分辨率重建、Kinect 人体动作识别中的应用。全书共分7 章，第 1 章概述了人脸识别技术与人脸图像超分辨率重建技术的发展现状。第 2 章提出了基于人脸纹理特征点 3D 人脸配准算法和基于均值权重粒子滤波器的人脸检测跟踪算法。第 3 章
2、提出了基于 LBP 的素描人脸识别算法。第 4 章提出了一种基于 Gabor 小波变换和隐马尔可夫模型的人脸识别算法。第 5 章提出了一种基于分块 PCA 的单帧人脸超分辨率算法。第 6 章提出了基于空间几何角度信息的人体动作识别算法。第 7 章实现了一种基于 Kinect 的手势识别算法，完成了对智能小车的控制。本书可供从事图像理解与识别、生物特征识别及相关研究和开发的教师、研究生及工程技术人员参考。未经许可，不得以任何方式复制或抄袭本书之部分或全部内容。版权所有，侵权必究。图书在版编目（CIP）数据 人脸识别与人体动作识别技术及应用曹林著北京：电子工业出版社，2015.8 ISBN 978
3、-7-121-26660-7.人 .曹 .面图像识别 人体运动图像识别 .TP391.41 中国版本图书馆 CIP 数据核字（2015）第 161226 号 策划编辑：董亚峰 责任编辑：郝黎明 印 刷：装 订：出版发行：电子工业出版社 北京市海淀区万寿路 173 信箱 邮编 100036 开 本：7201 000 1/16 印张：13.25 字数：339.2 千字 版 次：2015 年 8 月第 1 版 印 次：2015 年 8 月第 1 次印刷 定 价：48.00 元 凡所购买电子工业出版社图书有缺损问题，请向购买书店调换。若书店售缺，请与本社发行部联系，联系及邮购电话：（010）88254
4、888。质量投诉请发邮件至 ，盗版侵权举报请发邮件至 。服务热线：（010）88258888。展 望 本书以模式识别的一些基本理论与方法为基础，重点讨论了模式识别在图像配准、人脸检测、素描人脸识别、图像超分辨率重建、Kinect 人体动作识别中的应用。其中两个章节涉及小波分析领域关于人脸识别的应用。现如今人脸识别及人体行为动作研究已经取得了一定研究成果，但是这并不说明它的弊端问题已经得以解决。以物体之间的遮挡为例，此时人体部分被遮挡，如何剥离与之重叠的物体，并完整地分割出人体目标将是一个挑战。可以将监控视频中目标人体各个部位的定位与分割作为研究的切入点，通过对大量人体样本的训练与学习，从而精准
5、地识别出人体的各个部位，并由此构建出人体骨架。对于实时性来讲，它受多方面因素的影响，如硬件条件、算法的复杂度、算法的识别效率，其间需要找到一个平衡点来处理这些影响。另外，图像配准在实际应用中的严格性也是一个挑战，由于它的准确度很多情况下并不尽如人意，因此，图像配准常常需要手工矫正，自动图像配准技术仍然是一个难题。问题的存在其实并不能掩盖它们在实用性方面的价值，人脸识别技术在生物特征识别领域、司法领域、访问权限控制领域等均有应用。很显然，传统的人脸识别已经趋近成熟，这势必带来研究热点的一个新的转移。目前，异质人脸识别领域的素描人脸识别以及漫画人脸识别正在悄然兴起，这无疑给人脸识别研究注入新的动力
6、。然而，异质人脸识别研究并不像传统研究那样简单，作为新兴事物，它正面临着一系列的挑战。用于刑侦的素描人脸识别与常规人脸识别不同，素描人脸识别通常都是正向的，姿态影响较小；表情通常为中性表情，表情变化较小；光照条件人为可控，基本不受光照影响。素描人脸识别的困难在于，刑侦专家根据目击者的描述所画的图像与真实图像之间的“像几分”问题。现场临摹的素描图与真实人像之间的相似度较大，相对识别效果较好；事后回忆的素描图与真实人像之间的差异偏大，识别率?人脸识别与人体动作识别技术及应用 IV 必然降低，但实际应用中，刑侦素描人脸识别往往不需要 Rank-1，因此识别率可通过 Rank-N 提高。未来，合成素描
7、照，即通过软件处理或其他手段得到的素描照，或许会提高法医素描照识别的可操作性。它可以通过 CBR（Component Based Representation）来处理原图和合成素描图之间的形态差距，以 ASM 检测人脸的局部信息，以 MLBP 捕捉纹理和结构特征作为切入点，这里不同局部图像之间存在的相关性将会是未来研究的重点。但是年龄问题仍然是亟待解决和不可避免的，同一个人不同时间段的照片（与素描照）匹配度能否理想也是未来研究的一个方向。当前，基于原型的可操作异质人脸识别框架表明，异质面部特征或许可以用到异质人脸图像匹配上。当在复杂场景下进行红外热像与原图匹配时，就需要考虑到诸多不确定因素，这
8、仍然是目前研究努力的一个方向，就像深度图像的人脸匹配需要使用到 LIDAR 传感器。已经证明这种传感器在远距离捕获高分辨率图像上具有较为优秀的能力，这将在人工智能及法律实施应用上形成一种可实施的人脸识别场景。异质人脸识别领域的另一热点漫画人脸识别技术或许会成为未来研究的一个新方向，随着大量数据库的开放，将有助于一些研究者找到新的算法来处理这类问题。对于漫画人脸识别，单一的算法是很难做到较高的识别率的，不同算法的结合应该会是新的思路。也许我们可以利用漫画人脸与原图特征点的相对位置，及各特征点之间的相对距离，探索新的研究方式。另外，基于Kinect的人体动作研究目前大都针对于单个人体动作的识别，研
9、究层面尚且较浅。很显然，实时的实现多目标的人体动作识别或将成为目标检测新的研究热点。例如，小组人群目标的检测，即多个人在同一时刻表现出不同的行为，若将其实时的检测出来，而不是分别对单个目标检测后组合，这样检测识别效率明显提高，应用性势必会得到提升。就社会意义来讲，人体动作识别的最终目标即是实现异常目标人体动作的识别，然而这仍然任重道远。图像超分辨率重建技术目前处于研究初级阶段，由于其社会意义重大，很多研究者们仍然希望找到更为高速高效的算法，如盲超分辨率重建方法、概率模型方法等。实际情况下，人们更需要在“盲的”情况下进行超分辨率重建，对于重建质量，仍然需要进一步提高。未来继续在运动估计、退化模型
10、、压缩视频、算法优化等方面进行更深入的研究或许会取得新的进展。前 言?V 前 言 人脸识别与人体动作因其在公安、视频监控、人机交互等方面良好的应用前景而成为近年来模式识别、图像处理等领域中的研究热点。虽然人类可以毫无困难地通过人脸而识别出某个人，但要建立一个能够完全自动进行人脸识别的人工智能系统却非常困难。困难的原因在于人类对视觉认知机理的了解还很肤浅，还不知道如何用数学来准确描述认知现象。使用图像处理技术来进行人脸识别时，困难表现在：人脸光照模式的不确定性，人脸表情的多样性和人脸姿态的随意性。到目前为止，已经取得的研究成果离这一问题的彻底解决还有很大的距离。本书以模式识别的一些基本理论与方法
11、为基础，重点讨论了模式识别在图像配准、人脸检测、素描人脸识别、图像超分辨率重建、Kinect 人体动作识别中的应用。全书共分 7 章，各章节主要内容如下：第 1 章概述了人脸识别技术与人脸图像超分辨率重建技术的发展现状，并介绍了人体行为识别的研究进展。第 2 章提出了基于人脸纹理特征点 3D 人脸配准算法。通过对 3D 人脸投射到 XOY 平面，获取正面人脸纹理图，利用 VOSM 算法实现了 3D 人脸数据库的重建以及配准。提出基于均值权重粒子滤波器的人脸检测跟踪算法，提高了系统对于人脸跟踪的准确度。第 3 章提出了一种新的素描人脸识别，以 LBP 算子描述素描人脸和光学照人脸的相似性，采用
12、DOG 滤波器进一步提升了图像纹理效果。利用机器学习思想，加入分块特征，实现了素描人脸识别。提出了基于 SIFT 特征的人脸验证算法，以 SIFT 特征为基础，划分为数量特征和位置特征进行验证，实现了人脸验证。第 4 章提出了一种基于 Gabor 小波变换和隐马尔可夫模型的人脸识别算法，以及基于 Gabor 小波变换、独立元分析和隐马尔可夫模型的人脸识别方?人脸识别与人体动作识别技术及应用 VI 法。上述方法识别率高，复杂度较低，对部分遮挡的图像具有较大的容忍度。第 5 章提出了一种基于分块 PCA 的单帧人脸超分辨率算法。此算法用人脸图像块位置信息表征人脸图像的全局结构，图像块内容表征人脸图
13、像的细节，进而重建出高分辨率人脸图像。第 6 章提出了一种基于深度传感器提取人体骨骼空间角度信息的动作识别方法和一种基于三维时空特征的人体行为识别算法。上述算法着眼于虚拟现实、人机交互中的人体动作识别，利用空间几何角度来实现人体动作识别。第 7 章实现了一种基于 Kinect 的手势识别算法，完成了对智能小车的控制。本书的出版得到了北京市属高校青年拔尖人才培育计划（项目号：CIT&TCD201304119）、国家科技重大专项煤层气田地面集输信息集成及深度开发技术（项目编号：2011ZX05039-004-02）、人才培养项目学科与研究生教育水平提高项目（项目号：5111524100）等科研项目
14、的资助，在此一并表示感谢。由于时间仓促，书中难免存在不足，欢迎读者对本书批评指正。目 录 第 1 章 绪论 1 1.1 人脸识别技术的研究与应用 1 1.1.1 国内外人脸库介绍 2 1.1.2 国内外研究现状 2 1.1.3 人脸识别技术的难点和发展趋势 3 1.2 人脸图像超分辨率重建技术的研究与实现 4 1.2.1 图像超分辨率的发展及国内外研究现状 8 1.2.2 低分辨率图像退化模型 10 1.3 空间角度的人体行为识别介绍 11 1.3.1 国内外研究现状 13 1.3.2 人体行为视频数据库 14 本章参考文献 17 第 2 章 人脸图像配准和人脸检测跟踪 21 2.1 人脸配准
15、简介 21 2.1.1 3D 人脸配准简介 22 2.1.2 数据库简介 22 2.2 3D 人脸配准 23 2.2.1 获取纹理图像 24 2.2.2 检测特征点 25 2.2.3 细化特征点位置 25 2.2.4 特征点模型标准化 27 2.2.5 3D 人脸模型配准 28?人脸识别与人体动作识别技术及应用 VIII2.3 人脸检测简介与常用算法介绍 30 2.3.1 神经网络 31 2.3.2 支持向量机（SVM）32 2.3.3 AdaBoost 算法 32 2.4 Gentle AdaBoost 人脸检测算法 33 2.4.1 图像训练预处理 33 2.4.2 haar 特征选择和积
16、分图的计算 34 2.4.3 Gentle AdaBoost 算法 35 2.5 实时人脸跟踪 39 2.5.1 均值权重粒子滤波器 40 2.5.2 人脸检测校正策略 41 2.5.3 人脸检测和跟踪实验结果分析 42 2.6 本章小结 45 本章参考文献 46 第 3 章 人脸验证和素描人脸识别 48 3.1 人脸验证简介 48 3.2 SIFT 匹配算法 50 3.2.1 SIFT 算子 50 3.2.2 SIFT 匹配 51 3.2.3 SIFT 数量特征匹配分析 52 3.3 SIFT 位置特征的人脸验证算法 53 3.4 人脸验证实验结果与分析 55 3.4.1 SIFT 数量特征的人脸识别 56 3.4.2 结合 SIFT 位置特征的人脸验证 57 3.4.3 和传统人脸验证算法的对比 59 3.5 人脸识别简介 61 3.6 LBP 识别算法 62 3.6.1 LBP 基本算子 62 3.6.2 LBP 人脸识别 63 3.6.3 LBP 算法分析 64 3.6.4 滤波器分析 65 目 录?IX 3.7 结合 LBP 和分块特征的识别算法 66 3.7.1 训练算法