1、ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 41 卷 第 12 期Vol41 No122022 年 12 月Dec 2022DOI:10 19927/j cnki syyt 2022 12 007基于深度学习端到端的车道保持系统实验设计肖雄子彦，楚朋志，梁晓妮，薛万坤，任桐鑫(上海交通大学 学生创新中心，上海 200240)摘要:针对现有自动驾驶课程缺乏软硬件相结合、稳定性强且易于开发的车道保持实验，提出了一种基于深度学习端到端算法的车道保持系统。引入轻量化的无人驾驶小车硬件平台与华为云 ModelArts 软件平台
2、，设计了包括数据采集处理、模型设计、云端训练、车端部署测试的完整开发流程;从教学场景出发，对深度学习端到端算法进行轻量设计，较好捕捉图像与底盘角度的映射关系，保证了高准确率与泛化性。同时，进行了模型训练及实验测试，训练了 200 个 Epoch 后成功收敛，在 U 型弯、直转弯、S 型弯严格不压线通过率均值为 9305%(高速)与 9722%(低速)。实验结果表明，该系统在实测中表现出较强的鲁棒性，且实验环境易于搭建，弥补了教学实验中学生计算资源不足的现状;通过端云协同开发帮助学生有效提升工程实践能力。关键词:车道保持;无人驾驶;深度学习;教学实验中图分类号:TP 391 0文献标志码:A文章
3、编号:1006 7167(2022)12 0027 07Experimental Design of Lane Keeping Based on Deep LearningEnd-to-end AlgorithmXIAO Xiongziyan，CHU Pengzhi，LIANG Xiaoni，XUE Wankun，EN Tongxin(Student Innovation Center，Shanghai Jiao Tong University，Shanghai 200240，China)Abstract:In the existing driverless courses，we lack s
4、trong stability and easy-to-developed lane keeping experimentswhich combine software and hardware Therefore，a good experiment based on deep learning end-to-end algorithm isproposed A lightweight driverless car platform and a Huawei Cloud platform are introduced to complete data acquisitionand proces
5、sing，model design and training，vehicle deployment and testing in teaching area The improved end-to-endalgorithm can better capture the mapping relationship between the image and the chassis angle，and ensure high accuracyand good generalization performance In the experiment，the model converges succes
6、sfully after training 200 epochs Themean value of strict stability rate in U-bend，straight turn and S-bend sections are 93 05%(high-speed mode)and97 22%(low-speed mode)，respectively The experiment is easy to build environment and show its strong stability intesting Besides，it makes up for the shorta
7、ge of studentslocal computing resourcesMoreover，the end-cloudcollaborative development helps students improve their engineering practice abilityKey words:lane keeping;unmanned driving;deep learning;teaching experiment收稿日期:2022-03-13基金项目:教育部产学合作育人项目(202002142023)作者简介:肖雄子彦(1993 )，女，湖北武汉人，硕士，实验师，主要从事人工
8、智能工程技术与教育研究。Tel:16602105282;E-mail:ellenxxzy sjtu edu cn通信作者:楚朋志(1989 )，男，河北石家庄人，博士，实验师，主要从事深度学习模型压缩、目标识别与追踪。Tel:18930319825;E-mail:pzchu sjtu edu cn0引言因驾驶员注意力不集中、操作失误等因素是造成道路交通意外事故的主要因素之一，美国接近 50%的交通事故与驾驶员发生无意识的偏离车道有关1，利用自动驾驶技术的车道保持稳定系统可一定程度上提高道路行驶的安全性2。随着人工智能、机器视觉、第 41 卷雷达技术等协同发展，自动驾驶技术呈现出接近实用化的趋势
9、，也逐渐进入了越来越多的高校课堂。而保持车道稳定行驶自动驾驶的关键技术，因此在自动驾驶类课程教学中，对车道保持稳定性的研究与实验设计对学生掌握自动驾驶技术有着重要意义。目前，国内外对于车道保持稳定性的研究大多聚焦于车道线检测，大致可分为:基于图像特征的方法和基于模型的方法以及基于深度学习的方法。刘源等3 提出了一种基于边缘特征点聚类的车道线检测方法。Upendra 等4 采用自适应阈值法，结合像素强度与边界信息提取车道线标记。Hao 等5 建立一种高斯统计颜色模型在感兴趣区域提取车道线颜色，这种方法对于车道线被遮挡、路面存在干扰的情况具有较好的鲁棒性。徐美华等6 提出了一种基于投影统计量和双曲
10、模型的车道线识别算法，利用近场信息对曲线车道线进行优化，然而在复杂环境中的适应性还有待提升。近年来深度学习的发展为解决不同场景下的车道线检测提供了新方向7，Fabio 等8 设计了一种车道线检测算法，基于 OS 框架在多任务 CNN 的训练过程中使用均方差不确定性估计获得了更好的性能。Mohsen 等9 采用生成式对抗网络对车道线进行检测，其中生成器用于生成车道线的预测值，而判别器判别生成器的输出与真实标签的差异，最终网络能够直接生成车道线标记位置。而现有的自动驾驶类课程多以理论授课、虚拟仿真为主，缺少适用于教学的硬件实验平台以及充足的计算资源，基于软硬件相结合的实验案例更为缺乏。而工程性缺失
11、和实践教学薄弱正是我国高等工程教育长期存在的问题，因此提升实践教学质量至关重要。现有无人驾驶平台体积庞大、结构与实验环境复杂，所使用的车道线检测算法稳定性较差。同时，学生本地计算资源的不足也极大降低了实验开发效率。针对上述问题，本文引入轻量级无人驾驶小车硬件平台与华为云人工智能软件计算平台，从基于深度学习神经网络端到端模型;结合课程内容，创新性地设计开发了一套适用于教学实验场景、流程完整、实验环境易于配置且稳定性较强的车道保持系统实验。满足“新工科”建设中对人才培养提出的新要求10-11 有助于加强学生对理论知识的巩固，并在产教融合背景下促进学生工程能力的提升12。1深度学习端到端算法深度学习
12、端到端算法13 近年来逐渐被广泛应用于自动驾驶领域，该模型基于神经网络原理，表现出更强的鲁棒性。同时具有网络结构清晰直观、数据标签易于处理等优点，因此非常适合用于自动驾驶课程实验的开发与教学。本文设计的实验从教学实际出发，对端到端模型进行轻量设计。算法总体思路是将复杂的车道线检测任务转换成为图像分类任务，寻求拍摄场景与底盘角度的映射关系。模型的输入为当前摄像头拍摄的图像，输出为该图像此刻对应的底盘车轮转向“程度值”。如图 1 所示，本文通过自动驾驶小车搭载的摄像头对数据进行采集，经过剪裁与数据增强处理，将图像大小为 66 200、GB 三通道的彩色图片输入网络。模型架构基于卷积神经网络(Con
13、volutional NeuralNetwork，CNN)搭建，通过 5 层卷积运算(Conv-1 Conv-5)完成了从低层次到高层次的特征提取。图 1实验中搭建的端到端模型示意由于教学场景较为固定，课程采集数据量相对较小，因此模型中使用了 3*3 的卷积核代替原模型中 5*5 的卷积核，以节省模型参数、提升计算效率，并优化了每层卷积核数量，分别为 24、36、48、64、64。模型利用增加步长的方式代替池化层，去除冗余信息、达到降维和减少计算量的作用，本模型中，在前 3 层卷积运算中统一使用步长为 2*2 的卷积运算。并使用 ELU激活函数14 增加模型复杂度，提升非线性表达能力，激活函数
14、计算公式为ELU(x)=x，x 0(exp(x)1)，x 0(1)式中:x 表示经过卷积计算后的值;为超参数，一般为经验值。ELU 函数具有在所有点上都连续可微的特点，与其他激活函数相比，它具有更高的准确性。由于 ELU 的梯度对于所有负值都是非零的，因此与整流线性单元(ectified Linear Unit，eLU)函数相比，不存在“神经元死亡”的问题。通过卷积层的多轮特征提取与降维后，最后通过全联接层完成分类任务，本模型设置了 4 层全联接层(FC-1 FC-3 和输出层)，神经元个数分别为 100、50、10 和 1，全连接层的计算式为yi=ELU(wixi+bi)(2)式中:xi为该
15、层神经元的输入;wi为该层网络的权重;bi为该层网络的偏置量;yi为该层计算后的输出。最后 1 层为输出层，神经元数量为 1，即用于计算标签(label)，对应了车轮转向“程度值”。为适配底盘转向性能，在实验中，设定该数值区间为 0 90，分别代表从最左(数值 0)至最右(数值 90)的转向程度，数82第 12 期肖雄子彦，等:基于深度学习端到端的车道保持系统实验设计值 45 则表示当前为直行状态(既不偏左也不偏右)。实际计算时将此范围进行归一化至区间(0，1)，使用非线性函数 Sigmoid15 进行激活，计算式为f(z)=1/1+exp(z)1(3)式中:z 为最后 1 层神经元的输入;f
16、(z)表示 z 经过激活后的输出。本实验在训练过程中，每层全联接层后都进行了随机丢弃一定比例的神经元(Dropout)操作，来防止模型过拟合。2系统总体设计与实验平台本文设计的系统总体框架如图 2 所示，其基于轻量级无人驾驶小车硬件平台与华为云人工智能软件平台进行设计与开发的车道线保持实验，开发过程的基本思路:搭建无人驾驶小车硬件系统环境、上位机与下位机及底盘顺利通信调试、完成实地教学场景的数据采集;经过本地初步数据筛选，准备模型并一同上载到华为云 ModelArts 开发平台，根据模型参数要求，对现有数据集进行扩充与增强处理;依托云平台进行环境创建与算力资源配置，在云端完成模型的训练、调试与优化测试;将训练成功的模型进行转化，部署于无人驾驶小车硬件平台，在教学场地中进行实地测试，根据性能表现进行优化，必要时可进行数据重采与补充。图 2实验总体设计框架示意本实验所应用的端云平台主要有:(1)无人驾驶小车硬件平台。本文实验用无人驾驶小车硬件平台由 2 块嵌入式开发板组成，分别置于小车上位与下位区。上位搭载了 1 块 NVIDIAJetson Nano 嵌入式开发板卡，该板卡具有体积较小(
