通号工程局集团电气工程有限公司 天津市 300000
摘要：交通领域是深度学习技术可以发挥强大作用的一个领域。道路交通的安全性要求比较高，道路监控设备比较完备，这些设备每天可以产生无数的视频数据，而这些数据非常有利于深度学习模型的训练。包括电动自行车、车牌、道路两旁的基础设施比如路灯、信号灯、公交站牌等等。如何利用交通监控设备产生的视频数据，来进行视频的自动分析呢？显然这是一个深度学习的应用场景。下面介绍，如何利用深度学习技术自动检测电动自行车闯红灯交通事件。
关键词：AI+深度学习；计算机视觉；YOLOv3；电动自行车；电子警察；神经网络；标签分类；闯红灯；停止线；斑马线；非机动车道
引言
“讲文明、树新风，文明出行“这是我们整个社会都该宣扬的正能量。但是不是人人都能做到文明出行，外卖、快递人员乱穿行、电动自行车闯红灯和车辆乱停放，只是公共交通问题中的冰山一角，公共交通存在的痛点还有交通拥挤、交通安全、交通违法等等，并且随着时代的发展，新的交通问题也不断涌现，比如共享单车的出现在给群众出行带来便利的同时，乱停放、使用不规范等问题也带来不少负面影响。以前经常在街上看到那些过马路不看红绿灯的不文明行为，也拿这些人没什么办法。但现在这种情况好像发生了改变。近一年以来，天津市不文明交通行为明显少了很多。因为，天津市开始使用一种新的科技，脸部识别设备：一旦你在公共场所出现了某些“不文明”的行为，公共安全办公室里的LED屏幕上，就会出现你的脸，甚至是姓名还有部分的身份信息。
.png)
图1 电动自行车闯红灯检测框架
1.深度学习
这种新技术有个名字叫人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。深度学习（DL）为人工智能的一种表示学习方法，具有强大的数据表征能力，通过监督或非监督学习方式，能够学到数据更高层次的抽象表示。
在深度学习网络中，卷积神经网络（CNN）成为了检测物体的主流方法，本文所采取的卷积神经网络为以YOLO系列为代表的回归问题模型，尤其是YOLOV3新算法的提出，不断刷新目标智 能检测的精确率与检测效率，大大改善了传统深度学习算法在目标识别与分类应用上的性能与效果。
2.实验设计
本文选取若干交通路口对电动自行车进行数据样本照片的采集，经过标记整理，对数据集采用支持向量机(SVM)进行训练。对提取出的电动自行车斑马线、人脸、车牌等目标进行跟踪，进一步提取颜色直方图、位置和轨迹特征来匹配矩阵进行目标跟踪，以上操作能在视频图像当中检测出运动的标记物体。然后根据交通信号灯和预先设定的可行区域，判断电动自行车是否构成闯红灯行为。主要分三个部分: 运动目标提取，车辆识别，目标跟踪行为判断，具体实施方案如图1所示。
2.1 数据的采集与分组
使用路口架设好的900万像素杆体摄像机对电动自行车进行拍摄,格式为jpg。图像采集包含白天、夜晚、逆光、背光灯各种角度拍摄的非机动路口照片16000张左右，并对这些照片在YOLOV3标记工具上进行标注，标签分类为“banmaxian”、“qidiandongche”、“chepai”、“renlian”,分别表示“斑马线”、“骑电动车”、“车牌”、“人脸”。
2.2 数据处理平台
把标记好的图片通过高性能电脑处理器（操作系统为win10 64位专业版、CPU为Intel i7 9700K、主频为3.6GHz、内存12GB、显卡为NVIDIA GeForce RTX 2080 Founder）在深度学习YOLOV3框架中进行运算。
2.3 数据处理过程
在训练过程中，对每幅输入图像，YOLOV3会预测三个不同大小的3D Tensor，对应三个不同的scale。通过三个不同的scale能够快速检测出不同大小的物体。如图2 YOLOV3处理流程所示。
.png)
图2 YOLOV3处理流程
通常一幅图像包含各种不同的物体，并且大小不一。比较理想的是一次就可以将不同大小的物体同时检测出来。SSD的做法是，在不同深度的feature map获得后，直接进行目标检测，这样小的物体（车牌、人脸等）会在相对较大的feature map 中被检测出来，而大的物体（电动车、斑马线等）会在相对较小的feature map被检测出来，从而达到对应不同scale的物体的目的。
YOLOV3中使用了ResNet结构。随着网络越来越深，学习特征的难度就会越来越大。利用shortcut path，学习过程就从直接学习特征变为在之前学习特征的基础上添加某些特征，来获得更好的特征。因此学习的目标就从学习完整的信息，变为学习残差了，这样学习优质特征的难度就大大减小了。
2.4 检测效果评价指标与计算方法
2.4.1非机动车道交通流检测数据精度评价与计算方法
本文选择一辆安装有GPS接收设备的电动自行车作为试验车，试验车上同时有一名记录员根据预先设定好的检测点记录试验车通过检测点时的时间。试验车沿着预先选择好的实验路线行驶，驾驶员始终保持试验车速度与非机动车的流速一致。
本实验根据试验车通过相邻两个检测点的时间差和检测点间的路段长度得到路段的行程速度。将此路段的行程速度和浮动车的行程速度进行比较，得到浮动车行程速度的准确率。实验数据以GPS记录的经过检测点的时间为主，当GPS信号丢失或严重漂移时利用人工记录的通过检测点的时间进行补充和校验。实验流程如图3所示
.png)
图3 实验流程图
实验于2019年10月期间进行了6次，包括工作日和休息日，一天中的早晚高峰和平峰。得到24对数据，得到的数据见图4：
.png)
图4 拍照识别和试验车速度对比图
对统计的数据进行配对T检验，检验相关系数r即精度如下表1：
表1 配对T检验及误差分析结果表.png)
注：A标书道路平均绝对误差；R表示道路的平均相对误差；r表示精度
2.4.2数据采集周期评价与计算方法
数据采集的周期跟很多因素有关：软件的难易程度，采集的字段多少，数据量的大小，硬件配置的高低，网络情况，以及数据变化的频率等等。
本实验以交管平台后台数据库上传的数据时间戳为准，平均统计了上下班高峰期、白天、夜间不同时段的相邻数据时间戳差额。得到平均数据采集周期为19.37S。
2.4.3图像质量评价与计算方法
根据国际上给出的评价尺度如下表2：
表2 绝对评价尺度
.png)
本文采用机器学习（SVM+SVR）的图像质量评价。先用SVM进行失真类型识别，进行对特定失真类型建立SVR回归分析模型。再采用盲图像质量指数（Blind image quality index，BIQI）分两步对图像进行评价，先采用小波分解系数经广义高斯分布模型拟合得到的参数作为特征，由SVM分类得到当前图像属于每个类的概率，再采用SVR对各个退化类型计算图像质量指标值，最后根据概率加权得到总的质量评价指标；在后续的基于失真辨识的图像真实性和完整性评价，综合评价为四分。
2.4.3交通状态判别处理响应时间评价与计算方法
当判别出电动自行车存在闯红灯行为后，需要将闯红灯的电动自行车人脸及车牌（如有）保存到前端存储，如果人脸被挡且没有车牌，也应把相应的整体闯红灯行为（红灯前的位置、红灯时的位置、红灯后的位置）保存至存储。本实验通过调取后台日志读取判断为闯红灯行为的时间戳，及保存至前端存储数据库日志读取闯红灯行为数据的时间戳。得到100次的差额，取均差后得的数据为1.44S。
2.4.4交通状态判别准确度评价与计算方法
本文对验证集564个目标进行测试结果如表3所示。其中，All表示实际有多少个标记目标，即待检测实际目标个数；Correct表示正确识别出的标记目标个数，每个目标包围框都有置信概率，概率大于阈值的包围框与实际的目标包围框计算IOU，找出IOU最大的包围框，如果这个最大值大于预设的IOU阈值，那么Correct+1；Proposal表示所有检测出来的包围框中，大于阈值的包围框的数量；Precision表示精确度如式（1）所示；Recall表示召回率，是检测出标记目标的个数与验证集中所有需标记目标个数的比值，如式（2）所示：
Precision = Correct/Prooposal （1）
Recall = Correct/All （2）
由表3可知：在验证564个目标时，以0.001的初始学习率得到的YOLOV3模型，其Precision和Recall值达到了很好的识别效果。
表3 测试结果
.png)
2.4.5交通事件检测误报率评价与计算方法
我们以在交通管理平台上下载到的交通事件为总的实验样本，FAR定义为所有非交通事件中错误判断的比率。同样采集了20天的上下班高峰期，白天、夜晚等几组数据，如下表4所示：
表4 误报率测试结果
.png)
通过误报率测试结果可得出，四组的平均误判率为14.61%。
2.4.6漏检率评价与计算方法
为较为正确地验证YOLOV3模型的有效性，本文选取漏检率对算法性能进行定量评价。通过在在标记的数据集上测试的已训练好的权重文件，保存1万张测试集图像预测结果，记录每张图像预测结果，漏检统计如表5所示。
表5 漏检统计表
.png)
从表中可以看出，非技术原因引起的漏检不属于本实验考虑范围，排除非技术因素后，漏检率为8.91%，远小于20%。
3.结论与展望
本文针对城市非机动车道中电动自行车多目标视频检测问题，利用深度学习的YOLOV3目标检测算法，达到了高效和准确的视觉目标检测效果，为道路交通的信息化、智能化应用提供了快捷、有效的工具与方法。在今后的研究中，需继续结合YOLOV3模型优化算法进一步降低目标检测漏检率、误判率，提高识别速度。
注：本文所指的电动自行车泛指电动自行车、摩托车、脚蹬自行车等二轮车辆。
参考文献：
[1] MichaelNielsen.Neural Networks and Deep Learning.
[2] 严官林，沈昱明，张民.基于视频的行人闯红灯检测方法[J].信息技术，2015（3）:165-169，174.
[3] 朱永珍，孟庆虎，普杰信.基于HSV 色彩空间与形状特征的交通灯自动识别[J].电视技术，2015，39（5）:150-154.
[4] 闫利，黄亮.街景影像中的斑马线检测与定位[J]. 测绘科学，2015，40（11）:168-171，181.
[5] 熊平，胡彩霞，周欣星.CNN 与人工特征提取快速识别斑马线的方法[J].电子设计工程，2018，26（3）:189-193.
[6] 常发亮，马丽，乔谊正.视频序列中面向人的多目标跟踪算法[J].控制与决策，2007，22(4):418－422.
[7] 康晓晶，吴谨.基于高斯背景建模的目标检测技术.