1、第 20 卷 第 3 期2023 年 3 月铁道科学与工程学报Journal of Railway Science and EngineeringVolume 20 Number 3March 2023基于卷积神经网络的列车实时客流检测算法左静，余召(兰州交通大学 自动化与电气工程学院，甘肃 兰州 730070)摘要：城市轨道交通作为城市公共交通系统的主体，在缓解交通出行压力、促进城市发展中具有十分重要的作用。科学精准的测算列车实时客流，对改善城市轨道交通客运服务水平，发展低碳、环保的绿色出行模式具有重大意义。为此，提出基于卷积神经网络的城市轨道交通列车实时客流检测算法，实现列车监控视频视野内
2、乘客数量的实时检测。基于成都地铁1号线车载监控视频建立列车客流图像数据集，以剔除全连接层的VGG-16网络作为算法基础框架，提取输入图像的边缘、角点等浅层细节特征；将多尺度卷积层和膨胀卷积结构融合构建乘客多尺度特征感知模块，在保持图像分辨率的同时，通过不同的感受野增强尺度上下文信息的提取性能，提升网络对乘客尺度变化的鲁棒性；构建特征融合网络将网络浅层提取的细节特征与上采样后的深层语义特征嵌入融合，提升小尺度乘客目标的计数精度和特征图的信息丰富度。实验结果表明：所提算法在城市轨道交通列车场景下的检测精度得到显著提升，平均绝对误差、均方误差以及平均绝对百分比误差指标分别达到了1.1%，1.8%和5
3、.4%，同时单张图像检测速率低于60 ms，能够满足列车客流检测的实时性需求；且算法在2个标准人群数据集ShanghaiTech以及UCF-CC-50上的计数性能也得到了不同程度的提升，拥有良好的泛化性能。关键词：城市轨道交通；客流实时测算；深度学习；特征融合中图分类号：TP317.4 文献标志码：A 开放科学(资源服务)标识码(OSID)文章编号：1672-7029（2023）03-0836-10Real-time train passenger flow detection algorithm based on convolutional neural networkZUO Jing,YU
4、 Zhao(College of Electrical and Automation,Lanzhou Jiaotong University,Lanzhou 730070,China)Abstract:As the backbone of urban public transportation system,urban rail transit plays an important role in alleviating the pressure of traffic travel and promoting the urban development.Scientific and accur
5、ate calculation of real-time train passenger flow is of great significance to improve the passenger service level of urban rail transit and develop a low-carbon and environmental-friendly green travel mode.Therefore,a real-time train passenger flow detection algorithm for urban rail transit based on
6、 convolutional neural network was proposed to realize the real-time passenger number detection in the field of the train monitoring video.The train passenger flow dataset was established on the vehicle monitoring video of Chengdu Metro Line 1,with the VGG-16 收稿日期：2022-04-04基金项目：甘肃省自然科学基金资助项目(20JR5RA
7、398)通信作者：左静(1983)，女，陕西汉中人，副教授，博士，从事深度学习与交通运输系统优化研究；Email：DOI:10.19713/ki.43-1423/u.T20220662第 3 期左静，等：基于卷积神经网络的列车实时客流检测算法network excluding the fully connected layer as the basic network framework to extract the shallow detail features,such as the edge and corner point of the input image.The multi-sc
8、ale convolutional layer and expansion convolutional structure were integrated to build the passenger multi-scale feature perception module.While maintaining the image resolution,the extraction performance of the scale context information was enhanced through different receptive fields,so as to impro
9、ve the robustness of the network to the passenger scale change.The feature fusion network was constructed to fuse the detailed features extracted by the shallow network with deep semantic features after upsampling to improve the counting accuracy of small-scale passenger target and the information r
10、ichness of the feature map.The experiments results show that the detection accuracy of the proposed algorithm in the urban rail transit train scenario is significantly improved,and the average absolute error,mean square error and average absolute percentage error indicators reach 1.1%,1.8%and 5.4%re
11、spectively.Meanwhile,the detection rate of a single image is less than 60 ms,which can meet the real-time requirements of train passenger flow detection,and its performance is also improved to varying degrees on the two standard population datasets Shanghai Tech and UCF-CC-50,with good generalizatio
12、n performance.Key words:urban rail transit;real-time detection of passenger flow;deep learning;feature fusion 随着城市化进程的加快和城市人口的持续增加，城市交通出行压力日益严峻。尤其是网络化运营后，城市轨道交通承载客流呈现迅猛增长态势，激增的客流量使城市轨道交通运营管理面临诸多挑战。全面、准确的掌握列车实时客流信息，可以优化发车间隔、准确获取列车折返站点，还可结合旅客信息系统(PIS)、广播系统(PA)通过视频显示、语音播报等手段显示客流变化趋势，诱导客流出行行为，降低高峰时段的运营压
13、力。同时也可根据在线客流状态设置关闭站点、越行等管控策略，降低拥挤产生的安全隐患，对提升运营服务精准管控意义重大。目前，针对列车实时客流的研究还相对较少，现有方法多为基于自动售检票系统(AFC)对进出站及OD客流进行统计1；同时，岂常禄等25提出通过分析历史客流数据特征及影响因素，搭建客流量预测模型来评估车站的短时客流；曹文超等67提出利用WiFi探针检测乘客携带的智能终端的MAC地址来测算车站实时客流。上述方法虽在分析站内整体客流指标上取得一定成效，但其缺乏列车客流精细化时间和空间分布信息，且基于客流数据分析的方法对历史客流数据规模及质量要求较高，不适用于新建线路。随着计算机视觉研究和深度学
14、习的快速发展，卷积神经网络(convolutional neural network,CNN)开始广泛应用于人群计数领域，实现人群图像到人群密度图的非线性映射8。现有的CNN算法根据结构差异可分为多列和单列两类。为解决多尺度问 题，ZHANG 等9提 出 基 于 多 列 卷 积 网 络 的MCNN算法，通过3列不同大小的卷积结构来拟合人群尺度变化，但图像视角变化的多样性和随机性使得多列卷积核难以拟合所有的视角情况；SAM等10在MCNN研究的基础上，构建了基于密度分类器的SCNN算法，将不同密度等级的图像输入到特定的回归网络来提高计数精度，但大量参数用于密度分类导致网络训练复杂且密度图质量有所
15、下降，且多列结构各分支执行结果相似度较高，易造成网络参数冗余。为避免多列CNN的参数冗余问题，LI等11构建了一种基于单列膨胀卷积的CSRNet算法，通过堆叠多层膨胀卷积来聚合人群的多尺度特征，但未能将网络浅层的细节特征有效回归，应用于较复杂场景时容易出现错误预测；为提高特征传递能力，LIU等12构建了上下文感知网络(CAN)，通过自适应预测特征上下文信息来减少尺度差异对特征提取的干扰；左健豪等13提出通过编码和解码的方式来融合网络不同层次的特征信息，但算法结构复杂且不利于进一步优化改进。此外，以上研究均是基于视角开阔、人群密度较均匀场景下建模，且暂无用于城市轨道交通列车场景下的公开数据集，面
16、对列车空间狭小、高峰时段客流密集、摄像头透视严重的复杂场景，837铁 道 科 学 与 工 程 学 报2023 年 3月算法性能仍有待提升。针对现有研究的不足，本文在建立列车客流数据集的基础上，提出基于多尺度感知与特征融合CNN的列车实时客流检测算法。CNN网络对输入的列车实时监控图像进行特征提取，将乘客特征回归为预测密度图，通过对密度图积分求和，实现列车监控视频视野内乘客数量的实时检测。1 列车实时客流检测算法VGG网络采用多层重复堆叠的小卷积核来构建特征提取网络，相比传统较大的卷积核，不仅减少了网络参数量，网络的迁移学习性能也有显著提升。因此，本文将剔除全连接层的VGG-16网络作为列车客流检测算法的基础框架，将多尺度卷积层与膨胀卷积结构按照 Inception模块结构进行组合，提升网络对乘客多尺度特征的感知性能，进而丰富特征图的尺度上下文信息。在此基础上，构建特征融合网路，将网络浅层提取到的细节特征与上采样后的语义特征嵌入融合，得到最终的预测密度图。算法具体构成如图1所示。1.1乘客多尺度特征感知由于城市轨道交通列车内乘客分布复杂、摄像头的视角等问题，拍摄的图像中乘客头部尺度失真较
