1、哈尔滨工程大学学报 Journal of Harbin Engineering University ISSN 1006-7043,CN 23-1390/U 哈尔滨工程大学学报网络首发论文哈尔滨工程大学学报网络首发论文 题目：基于深度学习的美式车牌检测与识别技术 作者：林立雄，何洪钦，陈彦杰，郑佳春，彭侠夫 收稿日期：2021-05-25 网络首发日期：2022-11-23 引用格式：林立雄，何洪钦，陈彦杰，郑佳春，彭侠夫基于深度学习的美式车牌检测与识别技术J/OL哈尔滨工程大学学报.https:/ 网络首发网络首发：在编辑部工作流程中，稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等
2、阶段。录用定稿指内容已经确定，且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期刊特定版式（包括网络呈现版式）排版后的稿件，可暂不确定出版年、卷、期和页码。整期汇编定稿指出版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合出版管理条例和期刊出版管理规定的有关规定；学术研究成果具有创新性、科学性和先进性，符合编辑部对刊文的录用要求，不存在学术不端行为及其他侵权行为；稿件内容应基本符合国家有关书刊编辑、出版的技术标准，正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。为确保录用定稿网络首发的严肃性，录用定稿一经发布，不
3、得修改论文题目、作者、机构名称和学术内容，只可基于编辑规范进行少量文字的修改。出版确认出版确认：纸质期刊编辑部通过与中国学术期刊（光盘版）电子杂志社有限公司签约，在中国学术期刊（网络版）出版传播平台上创办与纸质期刊内容一致的网络版，以单篇或整期出版形式，在印刷出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为中国学术期刊（网络版）是国家新闻出版广电总局批准的网络连续型出版物（ISSN 2096-4188，CN 11-6037/Z），所以签约期刊的网络版上网络首发论文视为正式出版。哈 尔 滨 工 程 大 学 学 报 Journal of Harbin Engineering Univers
4、ity 基于深度学习的美式车牌检测与识别技术 林立雄1,2,何洪钦2,陈彦杰2,郑佳春1,彭侠夫3（1.集美大学 海洋信息工程学院，福建 厦门 361021；2.福州大学 机械工程及自动化学院，福建 福州 350000;3.厦门大学航空航天学院,福建 厦门 361000）摘 要：针对美式车牌存在背景图案多样、文本信息复杂，传统车牌识别方法难以同时满足对不同样式车牌进行识别的问题，通过对文本建议网络和卷积递归神经网络研究，提出了一种美式车牌检测与识别方法。并提出SE-MobileNetV2 快速特征提取模型，大幅提高特征提取速度。针对美式车牌检测时产生多个文本框，且有些车牌号由于被图案隔断不在同
5、一文本框的情况，设计了一套用于筛选车牌号的锚点机制。使用 Adam 优化算法训练卷积递归神经网络。本文构建了美式车牌数据集，进行验证实验，州名的识别率达到了 92%，车牌号的识别率达到了 84%，共同识别率达到了 82%。且本文提出的网络模型大小不到 60 MB，实时性强。关键词：深度学习；神经网络；文本检测；文本识别；美式车牌检测；美式车牌识别；SENet；MobileNetV2 Doi：10.11990/jheu.202105065 中图分类号：TP311.1 文献标识码：A American license plate detection and recognition based on
6、 deep learning LIN Lixiong1,2，HE Hongqin2，CHEN Yanjie2，ZHENG Jiachun1，PENG Xiafu3 (1.School of Ocean Information Engineering,Jimei University,Xiamen 361021,China;2.School of Mechanical Engineering and Automation,Fuzhou University,Fuzhou 350000,Fujian,China;3.School of Aerospace Engineering,Xiamen Un
7、iversity,Xiamen 361000)Abstract：There are many problems in American license plates such as varied background patterns and complex text information.Traditional license plate recognition methods are difficult to meet the different types of license plate recognition problems.Through the study of the Co
8、nnectionist Text Proposal Network(CTPN)and Convolutional Recurrent Neural Network(CRNN),a deep learning-based American license plate detection and recognition method is proposed in this paper.The SE-MobileNetV2 fast feature extraction model is proposed to greatly improve the speed of feature extract
9、ion.Aiming at the situation that many text boxes are produced in American license plate detection,and some license plate numbers are not in the same text box because of the pattern partition,an anchor box method for screening license plate numbers is designed.And Adam optimization algorithm was used
10、 to train CRNN.We built the American license plate data set and carried out verification experiments.The recognition rate of state name,license plate number and common recognition rate reached 92%,84%and 82%.Moreover,the network model proposed in this paper is less than 60 MB in size,and has strong
11、real-time performance.Keywords：deep learning;neural network;text detection;text recognition;American license plate detection；American license plate identification；SENet；MobileNetV2全球车辆数逐年增长，对交通管理的压力也越来越大。智能交通集成了通讯、电子、控制、信息等技术，在很大程度上能降低交通管理压力。车牌 收稿日期收稿日期：2021-05-25.基金项目基金项目：福州大学科研启动项目（XRC17028），福建省自然
12、科学青年基金（2019J05024）资助项目.作者简介作者简介：林立雄,男,副教授；何洪钦,男,硕士研究生；通信作者：通信作者：郑佳春，E-mail:.识别是智能交通的重要组成部分。传统的车牌识别包括字符分割和字符识别 2 个部分，其中字符分割方法包括：轮廓提取1，垂直投影2，灰度统计3和模板匹配4等；字符识别方法包括：边界特征5，HOG 特征6，模板匹配7，支持向量机8和模板匹配结合神经网络等9。得益于更强大的计算机、更大的数据集和能够训练更深网络的技术，基于深度学习的文本识别技术有了极大的发展。文本识别包括文本检测和识别 2 个部分。其中文本检测又可以网络首发时间：2022-11-23 0
13、8:29:38网络首发地址：https:/ 尔 滨 工 程 大 学 学 报 分为 2 大类：基于回归的文本检测和基于分割的文本检测。基于回归的方法将文字当作一个目标进行检测，其中 TIAN 等10提出的文本建议网络(connectionist text proposal network，CTPN)是目前流传最广、影响最大的开源文本检测模型，可以检测水平或微斜的文本行。采用 BLSTM 模块提取字符所在图像上下文特征，以提高文本块识别精度。Shi等11提出的 SegLink 则是将单词切割为更易检测的小文字块，再预测邻近连接将小文字块连成词。缺点是不能检测间隔很大的文本行，不能检测形变或者弯曲文
14、本。Liu 等12提出的 SBD 通过将点式预测分解为无序的关键边，解决了标签不一致的问题。为了解码准确的顶点位置，提出了一种简单而有效的匹配程序来重构四边形边界框。但该方法只能检测旋转矩形，不能检测多边形以及任意形状的文本。Zhou 等13提出了 EAST 是基于 two-stage 的文本检测方法：只包含全卷积网络和非极大值抑制 2 个阶段，消除中间过程冗余，减少检测时间可以检测各个方向的文本。由于受到感受野的限制，在检测长文本的时候表现一般。Wang 等14提出了自适应文本区域表示，可以根据文本框的形状使用网络去学习应该使用多少个点来表示文本框，可以适应各种形状的文本框。基于分割的方法先
15、判断局部像素是否为文本，再通过后处理得到文本框，其中 Wang等15提出的 PSENe 采用了前向渐进式尺度扩展的方法用来区分邻近的文本实例，可用于检测任意方向的文本。缺点是检测速度较慢。Wang 等16后又进行改进，提出了 PAN，提升了运行速度。Beak等17提出的 CRAFT 通过先检测单个字符及字符间的连接关系，然后根据字符间的连接关系确定最终的文本行。只需要很小的感受野就可以处理长弯曲文本。但该方法对粘连字符的检测效果不好。Liao等18提出了 DBNet 通过对每一个像素点进行自适应二值化，二值化阈值由网络学习得到，彻底将二值化这一步骤加入到网络里一起训练，这样最终的输出图对于阈值
16、就会非常鲁棒，能够实现任意方向的文本。同样，文本识别方法也分为对单字符的识别和对文本行的识别 2 大类。随着深度学习的发展，接 连 涌 现 的 如VggNet19，ResNet20，InceptionNet21，DenseNet22等网络模型，在单字符识别中准确率不断提高。而目前更主流的方法是直接对文本行进行识别。对于文字行的识别，近几年效果比较出色的方法主要有基于卷积递归神经网络(convolutional recurrent neural network，CRNN)和RARE。SHI 等23提出的 CRNN 是目前较为流行的图文识别模型，可识别较长的文本序列，且占用的存储空间小。它包含 CNN 特征提取层和 BLSTM 序列特征提取层，能够进行端到端的联合训练。它利用BLSTM和CTC部件学习字符图像中的上下文关系，从而有效提升文本识别准确率，使得模型更加鲁棒。Shi 等24提出的 RARE 模型在识别变形的图像文本时效果很好。模型预测过程中，输入图像首先要被送到一个空间变换网络中做处理，矫正过的图像然后被送入序列识别网络中得到文本预测结果。能够比较准确地识别透视变换过的文本、以及
