身份证号码:21122319820217XXXX
摘要:文章以智能交通中的大数据处理需求为入手点,阐述了大数据处理技术在智能交通中的应用方案,并对大数据处理技术在智能交通中的应用效果进行了进一步探究,希望为智能交通大数据平台的建设提供一些有价值的参考意见。
关键词:大数据处理技术;智能交通;卡尔曼滤波
前言:智能交通系统是当前乃至未来城市交通系统的发展方向之一。以往城市智能交通数据网络架构中各组织机构呈独立运作态势,数据共享实现难度较大。而通过将大数据处理技术应用到智慧交通中,可以实现不同数据源数据的统一收集、存储、运营监管,保证数据共享的顺利实现。因此,探究智慧交通中大数据处理技术的应用具有非常重要的意义。
一、智能交通中的大数据处理需求
1、处理对象
从处理对象上来看,智能交通中的大数据处理包括业务数据、监控数据等。前者特指车辆类型、车辆通行出入口时间、货车称重、通行费用、站点信息等联网收费系统Oracle或MySQL数据库内相关数据;后者特指车检器采集信号、卡口摄像头拍摄视频、交通调查站过往撤回来给你统计等视频监控网络前端设备存储数据。
2、处理业务
从处理业务上来看,智能交通中的大数据处理需要将存储在关系型数据库内的联网收费数据进行挖掘,满足查询、数据操作以及HDFS备份要求。同时重点保留交通事件的视频记录,利用恰当的识别算法,提取图片特征信息并将其转化为紧急预案、应急救援、收费站资源调配的数据模型。
二、大数据处理技术在智能交通中的应用方案
1、应用框架
基于智能交通系统的数据需求以及应用场景,智能交通大数据处理技术需要在兼容以往结构化数据的情况下,为新型非结构化数据提供支持。具体框架如下:
.png)
图1 大数据处理技术在智能交通中的应用框架
如图1所示,基于资源合理化利用需求,可以利用数据流处理技术、开源日志采集技术、消息队列技术、分布式存储技术,从联网收费清分中心、车检器等位置进行收费清分数据、视频监控数据的集中处理。同时为了保证联网收费业务处理效率,可以利用Kafka订阅-发布的形式,进行数据传输并直接存储到大数据分布式文件系统HDFS内,完成冗余备份。
对于部分大体量视频数据,可以在特征提取的基础上进行类别划分,进而经Kafka将视频流传输至处理服务器,为后续数据处理提供依据[1]。在处理服务器中进行特征提取、视频压缩。在数据处理后则可以直接经Kafka将结果传输至大数据平台。
对于部分多类别车检器数据,可以日志的形式将数据传输至大数据平台展示、存储。进而经Flume部署,以集群的形式,实现数据的可靠传输。
2、功能实现
基于最小化RSU(Road Side Unit)数量分布理论,可以对车辆位置信息进行采集。因车辆位置信息特有的时空关联性质,可以利用矩阵恢复的手段,进行每一车辆完整时空位置信息的补充。同时采用卡尔曼滤波、基于众包机制的ITS大数据矩阵恢复,进行车载系统之间通信协议的设置[2]。在协议约束下对位置数据误差进行处理,以便有效压缩RSU数量,保证数据能效性。进而利用Truth Discovery进行大数据内误差数据、虚假数据甄别,为实时车流预测、车载精准导航、交通拥塞规避提供依据。
为了顺利实现上述功能,可以利用Netgen路网生成工具或者Netconvert路网转换工具,自主编写或导入OpenStreetMap道路文件,生成与实际城市道路参数相同的路网模型以及相同的.osm、.rou.xml配置文件,在.osm以及.rou.xml配置文件中可以经交通流定义、旅程定义等进行车辆模型的添加。以基于旅程定义的车辆模型添加为例,在.rou.xml配置文件中,每一个车辆旅程信息均可以通过<route edges=”136512141#1 136512142#0 136512142/>进行定义,定义信息包括对应车辆ID、所途经道路ID、再次出发时间、停靠车道ID等。通过生成的路网文件、车辆旅程.SUMO文件,可以获得一个动态仿真模型。在动态仿真模型中可以进行重要信息的提取。提取过程为:
<wizhi>
<shijian>1.00</shijian>
<ID>b1</ID>
<x>17003.02><x/x>
<y>11251.1411</y>
</weizhi>
通过上述操作,结合卡尔曼滤波以及矩阵恢复,可以精确恢复用户数量为8的路径,并将误差控制在2.50m以内。并在仅保留28.00%车载数据的情况下实现对全部车辆位置信息的精确追踪,降低智慧交通大数据存储量。
三、大数据处理技术在智能交通中的应用效果
1、多源采集
大数据处理技术在智能交通中的科学运用,可以实现多源交通要素采集以及多维度数据融合。一方面,智能交通大数据可以进行以车流、客流时空状态等细粒度数据的量化感知,形成涵盖机器视觉、一卡通、移动信令、新一代蓝牙等渠道的多元采集模式。仅视频就超万路,业务数据每天达两万条,IC卡数据每天达九百万条。另一方面,智能交通大数据可以对机场、出租、客货运输、巴士、地铁、维修驾培、实时路况、人群客流等领域数据进行集成,针对性建立多业务数据分层分级一站管控体系,为多维专题分析、综合预警监测等提供支持。
2、数据共享
通过大数据处理技术在智能交通中的有效应用,城市交通行业数据共享服务平台与交通行业数据资源进行了有机整合[3]。数据共享平台也可以接入近百个交通行业信息系统,每日新增数据量在250GB以上。与此同时,大数据共享平台可以接入环保局、地铁集团、公安局、气象局等数据资源,实现跨领域、跨行业、跨部门的信息交互,为重点区域客流监测分析、交通治理、输运保障、高速路交通保障提供充足支持。
总结
综上所述,在以数据资源与信息技术为双轮驱动的新时期,大数据已成为数字经济时代着重获取、生成、运用的资料,为智慧交通应用革新提供了良好的机遇。各地应根据新时代智慧交通发展要求,合理利用大数据处理技术,进行智慧交通运营框架与功能体系的进一步完善,持续推进交通治理体系、智能能力的现代化,获得品质更优的交通服务能力,为新时代交通的发展提供充足支持。
参考文献:
[1]于志青.基于大数据架构的智能交通可视化平台设计[J].中州大学学报,2021(01):120-123.
[2]王洪斌.大数据背景下人工智能在智慧交通中的应用研究[J].电脑知识与技术,2021(12):198-199.
[3]刘锐晶,朱兆芳,邢锦,张欣红.大数据时代天津智慧城市智能交通建设与道路交通发展展望[J].城市道桥与防洪,2021(01):1-7.