1、书书书第 卷 第期佳 木 斯 大 学 学 报（自 然 科 学 版）年 月 （）文章编号：（）基于局部增强的跨模态正交特征融合方法苏树智，王子莹，张开宇，张茂岩（安徽理工大学计算机科学与工程学院，安徽 淮南 ）摘要：针对传统典型相关分析方法在求解复杂非线性问题时，存在着无法揭示隐藏在高维样本空间中的局部几何结构，且依赖于原始数据分布等问题，提出了一种基于局部增强的正交特征融合方法。该方法首先利用样本间的近邻关系构建低维相关融合特征的局部增强散布，进一步融合投影变换矩阵的正交约束，通过最大化模态间的相关性和最小化模态内的局部散布信息，获得保留数据间重构关系和局部几何结构的低维相关融合特征，采用双模
2、型对目标函数对应的广义特征值问题进行分解，保证了特征向量之间的连贯性。实验结果显示，该方法在小样本、高维数的情况下相较于另外种对比方法具有更好的识别性能和鲁棒性。关键词：特征融合；典型相关分析；局部增强散布；正交投影中图分类号：文献标识码：引言随着数据采集设备和信息技术的发展，如何在子空间中对多模态数据进行有效融合成为模式识别 领 域 研 究 的 热 点 问 题。典 型 相 关 分 析（）作为探究两模态之间内在关系的代表算法，可以在低维子空间中获得更具鉴别力的相关融合特征。但其仅能全局地揭示两模态之间的线性相关性，无法掌握两模态之间的非线性相关关系。对此，核典型相关分析（）和局部保持的典型相关
3、分析（），可有效地解决了全局非线性问题。但是作为无监督学习算法，保留的局部结构包含噪声，揭示的邻域结构存在失真现象。判别型局部保持典型相关分析（）和 监 督 局 部 保 持 典 型 相 关 分 析（）引入类内信息，充分利用样本间的相关性，进一步改进了模型的识别性能。但上述特征融合方法是基于原始数据克服线性约束的改进和扩展，但是原始高维数据在获取低维融合特征过程中受小样本（）问题和原始数据噪声的影响，揭示的几何结构存在失真现象，导致分类性能有限。因此，针对传统典型相关分析的特性和不足，提出了一种融合局部邻域信息和投影变换矩阵的正交约束的局部增强的正交特征融合方法。通过在三个图像数据集上进行的对比
4、实验和分析，证明该方法在图像识别上具有较好的识别性能和鲁棒性。相关工作典型相关分析的目的是学习两组模态数据的相关投影方向，使得投影后两模态间的相关性最大。给定两种模态数据集分别用和表示：，其中和分别是和的维数，为样本数量。（，）（，）表示数据集，中第个样本，且和进行了均值化。旨在找到成对的投影向量和，使得随机变量和之间的相关性最大。具体的优化问题为公式（）：，（）式（）中，（）（）表示样本集的方差。（）（）表示样本集的方差。（）（）表示和的协方差矩阵，其中，和 反映了模态内数据的总体散布信息，揭示了和模态间的相关性。由于公式（）中相关投影方向和具有尺度收稿日期：基金项目：国家自然科学基金（）；
5、中国博士后科学基金（）。作者简介：苏树智（），男，副教授，博士，研究方向：多模态模式识别、特征学习。佳 木 斯 大 学 学 报（自 然 科 学 版）年不变性，方法可以进一步转化为公式（）：，.；（）局部增强的跨模态正交模型构建跨模态局部增强散布传统 无法揭示原始高维样本中的局部几何结构，目前已有的局部 方法中通常直接利用原始高维样本空间中的局部信息，受噪声和冗余信息的干扰，保留的局部几何结构容易失真。为获取更具鉴别力的低维相关融合特征，首先构建跨模态局部增强散布。在 中，反映了样本集模态内的全局散布信息，对其进行等价推导如公式（）：（）（）（）（）（）对于 利用同样的推导，可以等价描述为公式（
6、）：（）因此，问题可以等价描述为公式（）：，.（）式（）是 基于两模态间样本距离的等价形式，其物理意义是使同类特征映射到子空间之后的距离最小，该形式更有利于局部关系的约束。为获得更稳定的局部几何结构，构建跨模态局部增强散布矩阵 和。定义相似度矩阵，如式（）：（），（），其它（）式（）中参数表示为（），相似度矩阵 的定义表示，样本和样本之间的距离决定了其局部近邻关系，对于样本集，具有相同的定义。基于以上定义，利用样本集和分别构建跨模态局部增强散布和，如式（），（）：（）（）通过构造局部增强的类内散布，最小化模态内的局部散布，可有效融合局部几何结构，使得近邻样本之间更加紧密，从而进一步约束局部近邻
7、关系，获得的低维融合特征更具局部性。通过融合局部增强散布，式（）可以转换为式（）：，.（）为进一步优化求解，式（）经代数变换，可推导为式（）：（）（）（）（）（）（）（）（）（）（）（）式（）中，（，）为对角矩阵，对角元素 （，），（）为局部增强散布矩阵。同理，基于样本集的局部增强散布矩阵表示为（）。通过构建局部增强散布矩阵，在最大化模态间的相关性的同时最小化局部散布信息，有效保持了样本间的局部几何结构。结合典型相关分析的目标函数，式（）可等价描述为式（）：，.；（）模型的构建与求解为有效去除多个模态之间的冗余信息，结合式（），增加投影变换矩阵的正交约束，构建局部增强的正交特征融合统一优化模型
8、：，（，），第期苏树智，等：基于局部增强的跨模态正交特征融合方法 的解分为以下两部分：其一，计算第个典型相关投影对；其二，计算第（）个相关投影对。中模型可由以下定理求解，该解与传统 的解等价。定理：模型的解等价于 方法的第对最大特征值对应的特征向量如式（）：（）（）（）（）（）证明：为了求解第对局部正交投影向量，可将模型转化为式（）优化问题：，.，（，）（）利用拉格朗日乘子法构建拉格朗日乘子函数有式（）：，（）（）（）式（）中，为拉格朗日乘子，然后（，）对，求偏导，并将其设为，可得式（），（）：（）（）式（），（）中 ，公式（）和公式（）分别左乘和可得式（），（）：（）（）最终可等价的转化为一
9、个广义特征值问题，等价于公式（），证毕。通过求解上述的广义特征值问题，可以获得第一个最大特征值对应的特征向量，。对于模型，可根据以下定理求解第个投影向量对，其中和称为和的第个局部正交典型相关 投 影 对；，和，为局部正交典型相关投影矩阵；和称为和的第个局部正交典型相关变量。定理：第（）个局部正交典型相关投影对是与最大特征值对应的以下特征问题的特征向量如式（）：（）（）（）（）（）式（）中，（）（，）（）（，）（）（）（）（）（）（）（）（）（）（）（）（）证明：为了求解第个局部正交投影向量，利用拉格朗日乘子法将模型转化为式（）优化问题：，（）（）（）式（）中，和为拉格朗日乘子，设（），（），将
10、优化问题关于和的偏导数设为零，如式（），（）：（）（）（）（）（）（）将 式（）左 乘 ，可得式（）：（）（）（）（）（）结合公式（）中的方程，可以得到一个单一的矩阵表示式（）：（）（）（）（）（）将类似的策略应用于（），可得（）：（）（）（）（）（）由公式（）和（）可以得到式（）：（）（）（）（）（）（）（）（）（）（）将（）的左乘 ，可以得到式（）：（）（）（）把（）代入（），消去（），可以得到式（）：（）（）（）（）（）（）把（）和（）代入（），可得式（）：（）（）将类似的策略应用于（），消去（），可以得到式（）：（）（）（）（）（）（）把（）和（）代入（），可以得到式（）：（）（）将（
11、）和（）的左乘和，可以得到式（）：（）（）（）（）（）：由（）可得 把（）和（）合并成一个，可以写成（）（）佳 木 斯 大 学 学 报（自 然 科 学 版）年最终将（）转化为一个广义特征值问题，它实际上就是公式（）。最终可以得到对投影方向，其中 （）。证毕。给定任意样本对和，求解得特征向量和后，可以应用不同的策略进行特征融合，其中，串行特征融合策略和并行特征融合两种特征融合策略，分别表示为和。（）（）（）（）（）（）采用并行融合策略对模态进行融合，使用最近邻（，）分类器对融合特征进行最终模式分类。实验与结果分析实验设置为验证 方法的在图像识别上的有效性，分别在 多模态数据集、人脸数据集和 图像
12、数据集上设计了针对性实验。借助模态策略获取上述数据集的模态数据，具体为利用 和 小波变换分解技术获得每幅图像的低频子图，然后利用 变换将转换后的数据降维为 维，以此作为每幅图像的两种模态数据。在实验中，将 与 的最近邻参数设置为，将本文算法与 ，算法作对比分析，上述方法均采用基于欧式距离的最近邻分类器来获取最终识别率。在 数据集上的实验 人脸数据库由 幅张图像组成，包含 个人从侧脸到正脸的不同姿势，图为 人脸数据集中的部分人脸图像。从每类中随机选择第（，）个图像作为训练样本，其余的图像用于测试。独立运行十次样本随机试验，平均最佳识别率见表。表在 数据集上的识别率方法每类随机样本数 图在 数据集
13、上部分图像每类幅图像训练每类 幅图像训练每类 幅图像训练每类 幅图像训练图在 数据集上识别率随维度变化结果 和 方法作为线性特征融合方法，忽略了数据间内在几何关系，在非线性问题的低维特征学习过程中，图像识别的鉴别能力不足，识别效果较差；在一定程度上保留了高维数据中的局部信息，但局部失真带来的影响导致平均识别率较差；也直接利用原始数据，且数据依第期苏树智，等：基于局部增强的跨模态正交特征融合方法赖于经验核函数，不具有数据适应性，揭示的非线性结构相对识别性能较差。利用局部保持思想揭示了高维空间中的非线性相关特征，保留了数据的几何流形，并借助正交约束，有效剔除冗余信息，抑制小样本问题和噪声带来的影响
14、，使得获取的低维相关特征更具鉴 别 力。从 表 可 得，在 不 同 训 练 样 本 下 方 法 在 数 据 集 上 识 别 率 达 到 以上，最高达 ，识别精度始终优于对比算法，且在样本个数少时优势更显著。在 数据集上的实验 图像数据集共采集 幅灰度图像，包含 个不同物体，每个物体水平旋转 ，每隔 采集一张图像，每幅图像的大小为 像素。该实验中，随机选择每类第（，）个图像作为训练样本，其余的用于测试。独立运行十次样本随机试验，图展示了在 数据集上识别率随维度变化情况。在对比算法中，只能全局的获取高维样本之间的线性相关性，对于局部变化识别缺乏鲁棒性；则引入正交方法有效减少小样本问题对识别性能带来
15、的干扰，但无法进一步挖掘非线性相关关系，导致识别性能受限；和 虽克服了线性约束，但由于原始高维数据中包含大量冗余信息和噪声，导致数据局部几何结构失真从而影响低维融合特征的鉴别性能。对 邻域信息的利用加以改进，构造正交投影系统代替共轭正交，使其保持对各样本局部信息敏感的同时减少小样本问题对识别性能的干扰，从而得到两组模态的最大化相关信息，使得鉴别能力得以提升。如图所示，次随机实验中 识别效果优于其他算法，具有最高的平均识别率，在相同训练样本下更加稳定，表现出最佳的识别性能和更好的鲁棒性。在 数据集上的实验 图像数据集包含 个人的人脸图像，每人 张不同角度、不同表情的正面照片，像素为 像素。该实验
16、从每类样本随机抽取第（，）个样本作为训练样本，其余作为本次实验的测试样本，随机抽取十次。表为 人脸数据集上五种算法的最佳识别率。表在 数据集上的识别率方法每类随机样本数 从表可得，在 数据集上，仍具有最佳识别效果，相较于表和表的实验结果，在 数据集上的识别率优势更为明显，提取的特征鉴别能力更强。且随着训练样本的增加，识别率呈现增长趋势，证明该模型具有更强的鲁棒性。结语融合局部邻域信息和投影变换矩阵的正交约束，建立跨模态局部增强散布，构建局部增强的正交特征融合的优化模型，借助双特征分解推导出该模型的解析解，从而获得保留局部结构的低维融合特征。通过实验验证，本文具有较好的识别性能和鲁棒性。之所以能够获得更好的识别性能主要原因如下：（）该方法有效融合了局部信息，揭示了数据内在本质流形结构，有效解决了 无法处理较复杂的、非线性结构的问题。（）构造的正交投影系统对数据分布和噪声的影响呈弱敏感性，更好地保留了数据之间的重构关系，获得的低维相关融合特征更具鉴别力。目前的优化模型在应用和理论上仍有一些值得进一步研究的方面。如何将两模态数据融合扩展至多个模态，应用于更多领域值得进一步探究。参考文献：，（
