1、2023，59（13）交通强国战略有力推动了车路协同自动驾驶系统在全国各地的有益尝试。通过系统（车、路）高效和协同执行感知、预测、决策和控制功能，打造以车路协同自动驾驶为核心的新一代智能交通系统。交通标识是道路基础设施的重要组成部分，新一代智能交通系统中的自动驾驶车辆需要识别和理解交通标识，以确保车辆行驶面向交通标识的二值语义嵌入学习方法王少华1，2，刘法胜2，时柏营3，刘兴波1，聂秀山11.山东建筑大学 计算机科学与技术学院，济南 2501012.山东科技大学 电气与自动化工程学院，山东 青岛 2665903.山东建筑大学 交通工程学院，济南 250101摘要：交通标识是交通基础设施的重要组
2、成。智能交通系统中的自动驾驶车辆需要识别和理解交通标识，以确保其驾驶行为安全和遵守交通法规。目前，交通标识的识别大都采用深度神经网络方法，利用大量的训练样本对神经网络参数进行训练，获得对任务有利的特征表示，然而，海量的训练数据将带来较高的检索成本。针对以上问题，提出一种基于二值语义嵌入的大规模交通标识检索与识别方法BETS，该方法将标签信息和成对相似性信息嵌入到二值语义空间中，同时使用深度神经网络来进行哈希学习。实验结果表明，该方法可以有效提升大规模交通标识检索与识别的精度和准确性。关键词：交通标识图像；二值码；深度神经网络；标签信息文献标志码：A中图分类号：TP391doi：10.3778/
3、j.issn.1002-8331.2203-0276Learning Binary Semantic Embedding for Traffic SignsWANG Shaohua1，2,LIU Fasheng2,SHI Baiying3,LIU Xingbo1,NIE Xiushan11.School of Computer Science and Technology,Shandong Jianzhu University,Jinan 250101,China2.School of Electrical Engineering and Automation,Shandong Univers
4、ity of Science and Technology,Qingdao,Shandong 266590,China3.School of Transportantion,Shandong Jianzhu University,Jinan 250101,ChinaAbstract：Traffic sign is an important component of traffic infrastructure.Autonomous vehicles in intelligent transporta-tion systems need to recognize and understand t
5、raffic signs to ensure that their driving behavior is safe and comply withtraffic laws and regulations.At present,deep neural networks are commonly used to recognize traffic signs.Deep neuralnetwork uses a large number of training samples to train neural network parameters and obtain the feature rep
6、resentationfavorable to the task.However,massive training data will bring high retrieval cost.In view of the above problem,thispaper presents a large-scale traffic signs based on binary semantic embedding retrieval and identification method namedBETS.The proposed method embeds the label information
7、and pairwise similarity into binary semantic space,and usesdeep neural network in the Hash learning process.Experimental results show that the proposed method BETS can effec-tively improve the accuracy of large-scale traffic sign retrieval and recognition.Key words：traffic sign image;binary code;dee
8、p neural network;label information基金项目：国家自然科学基金（61876098，62206160）；山东省泰山学者计划项目（tsqn202103088）；山东省自然科学基金（ZR2021JQ26，ZR2022QF082）；山东建筑大学特聘教授专项经费。作者简介：王少华（1979），女，博士生，CCF会员，主要研究方向为模式识别与多媒体检索；刘法胜（1957），男，博士，教授，博士生导师，主要研究方向为熵优化与智能交通；时柏营（1976），男，博士，副教授，硕士生导师，主要研究方向为交通数据分析与挖掘；刘兴波（1995），通信作者，男，博士，教授，博士生导师，主
9、要研究方向为机器学习与多媒体检索，E-mail：；聂秀山（1981），男，博士，教授，博士生导师，CCF会员，主要研究方向为机器学习与数据挖掘。收稿日期：2022-03-14修回日期：2022-08-29文章编号：1002-8331（2023）13-0205-06Computer Engineering and Applications计算机工程与应用205Computer Engineering and Applications计算机工程与应用2023，59（13）合乎交通法规和安全。如何构建精细化的高密度互通区标识系统，实现交通标识的快速检索和精准识别，是车路协同自动驾驶系统必须解决的现实
10、问题。然而，近几年屡屡出事的自动驾驶车辆交通事故，却在不断引发公众对自动驾驶行业的信任危机。如何确保自动驾驶汽车的安全性是一项巨大的挑战，该领域对安全问题具有天然的更高要求，需要通过各种感知、识别、预测、控制、决策等技术的集成，提供更准确的识别精度、更科学的预判能力、更快速的即时响应、更安全的决策控制。目前，交通标识的识别较多采用深度神经网络方法，通过大量的训练样本训练神经网络参数，以得到有利于任务的特征表示。然而，巨大的数据量将带来高检索成本，时间复杂度和空间复杂度太高都是制约进一步提高车辆响应速度的桎梏，成为自动驾驶领域亟待解决的问题。针对以上问题，区别于现有方法，本文将哈希码作为交通信号
11、简洁的特征表示，同时采纳深度学习与哈希检索的优势，提出了面向交通标识的二值语义嵌入学习方法（binary embedding for traffic signs，BETS），该方法利用标签信息和成对相似信息来实现图像样本从原始空间到二值语义空间的映射，同时将深度神经网络的训练嵌入到哈希码学习过程中，实现对待检索的未知图像样本的映射。无论交通标识的识别工作是由单车智能下的车载单元OBU（on board unit）完成，还是车路协同环境下的路侧单元RSU（road side unit）完成，本文所提方法均有望与现有技术结合，为自动驾驶领域提供快速的识别解决方案，在降低检索计算复杂度的同时，可以有
12、效提升大规模交通标识检索与识别的精度。本文的主要贡献包括以下两个方面：（1）提出一种基于标签双向回归的哈希学习方法，结合多项监督信息，包括成对相似信息、标签信息和原始数据信息，实现从原始图像空间到二值语义空间的映射。在图像样本的二值码学习过程中，利用同一线性映射矩阵实现标签矩阵与二值码矩阵的双向回归，同时嵌入成对相似度矩阵，使得学习到的二值码矩阵保持了与原始图像空间语义一致的相似关系。（2）设计了一种离散优化方法来高效地学习交通标识图像的哈希码，从而避免了量化误差，进而有效地提升了大规模交通信号图像检索与识别的精度。1相关工作近年来，由于大数据的爆炸式增长，近似最近邻检索逐渐取代传统的精确近邻
13、检索，在图像识别、信息检索、数据挖掘等许多实际场景中有着越来越广泛的应用。哈希检索因其存储成本低，查询速度快，检索精度可接受，逐渐成为最流行的近似最近邻检索方法之一。现有的哈希方法可以粗略地分为数据独立的方法1-2和与数据依赖的方法3-5。数据独立方法：文献6使用随机投影生成原始数据的哈希码，这类方法必须依赖于较长的哈希码才能获得可信的精度。而数据依赖哈希，尝试学习一个哈希函数b=h()x，将输入项x映射为二值码b，哈希函数的形式可以基于线性投影、核函数、神经网络等。其中，基于线性投影的哈希函数因其效率高而被广泛使用。数据依赖的哈希方法，可以大致分为两大类：无监督方法和有监督方法。无监督方法仅
14、利用训练数据的关系，即数据的原始特征矩阵来学习哈希函数和哈希码7。例如，文献8使用谱聚类方法来找到图拉普拉斯算子的阈值特征向量，将其子集作为训练集的哈希码。文献9通过一种交替的最小化方案查找零中心数据的旋转，该方法可将数据映射到零中心二进制超立方体的顶点时发生的量化误差最小化。文献10利用潜在因子模型通过集体矩阵分解的方式学习统一的哈希码。较之数据独立方法，这些方法取得了一定的性能提升。但由于其忽略了对分类至关重要的数据的标签信息，而影响了其检索精度与性能。与无监督哈希方法相反，有监督哈希方法充分利用了监督信息，包括但不限于类标签矩阵，成对相似度矩阵等。例如，文献11提出了一种基于核函数的监督
15、哈希方法，该方法可以利用优化代码内部产品和汉明算法之间的等效性距离。同时，需要注意一个关键的问题：离散约束。该约束对于生成高质量的哈希码十分重要，但它通常会导致NP难的混合整数优化问题。在以往的方法中，通常暂时丢弃离散约束，改用阈值12将实值转换为哈希码。不可避免地，这样做会导致累积量化误差和局部最优13。为此，文献14提出了SDH方法，它使用离散循环坐标下降算法直接获得离散哈希码。进一步地，为了解决SDH训练时间长与哈希学习不稳定的问题，文献14通过交换映射方向，稳定了哈希码的生成并加快了训练过程，使标签矩阵很好地嵌入到哈希学习中。随后，文献15提出了可扩展监督离散哈希，可同时利用成对相似性
16、矩阵和标签矩阵提高了检索精度。而文献16通过引入预先计算的中间项来规避大型相似度矩阵的使用，提高了相似度矩阵的利用效率。2面向交通标识的二值语义嵌入学习方法首先给出本文方法 BETS的相关符号定义和问题形式化表示，然后给出方法的求解过程，最后给出待检索样本的二值码学习过程。其中，哈希函数与特征表示的学习可以采用深度神经网络CNN-F模型来进行，也可根据情况采用其他的深度网络进行训练。本文方法的框架图如图1所示，包括以下三个步骤。（1）模型离线训练：设计目标函数，同时利用标签信息，成对相似度矩阵和原始视觉信息，学习样本的二值语义嵌入。训练完成后，训练集中的原始样本对应的二2062023，59（13）值码将被存储在哈希码库中。（2）模型在线测试检索：在进行近似最近邻检索时，首先将待检索图像输入到已经训练好的深度神经网络中，利用已训练好的深度神经网络参数，生成待检索样本的二值码，将其与哈希码库中的哈希码进行比较，按海明距离从小到大排序返回前Top-N个图像样本，作为模型的检索结果。（3）模型在线测试识别：在交通标识图像识别的任务中，本文利用检索返回的Top-N结果，采用KNN算法来预测图像的