[发明专利]一种基于车载视频的前方车辆位置预测方法和预测系统

说明书

本发明公开了一种基于车载视频的前方车辆位置预测方法，包括：构建基于编解码框架的车辆位置预测模型，用于根据前车包围框和包围框内光流的历史数据、本车运动信息的预测数据，预测前车的位置和尺度；构建样本集并对车辆位置预测模型进行训练；获取车载视频；对视频帧进行车辆检测与跟踪并计算光流，得到前车的包围框序列和光流序列；预测本车的运动信息，构成运动预测序列；截取当前时刻t前的T个视频帧中前车包围框、包围框内的光流，和t后的△个视频帧中本车运动信息预测值，输入车辆位置预测模型，得到前车在t后的△个视频帧中的包围框序列，预测出前车的位置和尺度。该方法仅基于行车记录仪拍摄的视频信息，能够实时对前车位置和尺度做出预测。

技术领域

本发明属于辅助驾驶技术领域，具体涉及一种基于车载视频的前方车辆位置预测方法和系统。

背景技术

随着社会的不断发展，家用汽车得到了普及。在享受到汽车带来的便捷时，很多问题也随之而来，如交通安全事故频繁发生、道路行驶环境恶劣、生态环境受到污染等。种种问题都使得人们的生命和财产受到威胁，尤其是交通事故问题，因此安全行车成为了大众迫切的需求。造成交通事故往往是因为驾驶员对驾驶道路上其他交通参与者的行为不能及时做出反应，而行车记录仪现已经被大量车主使用，可以记录车主行驶全过程中的视频图像和声音，如果能够根据行车记录仪拍摄的视频，实时对本车前方车辆的位置进行预测，就能让驾驶员在行车过程中有足够的时间避免交通事故的发生，但目前的行车记录仪还没有这种功能。

目前国内外提出的关于车辆位置的预测方法其大致可以分为传统方法和基于深度学习方法两类。

传统的车辆位置预测方法如贝叶斯滤波方法，该方法的结构过于简单，无法分析复杂的车辆运动模式，而且往往不能很好的进行长期预测。动态贝叶斯网络利用图形模型描述了决定车辆轨迹的各种潜在因素，对生成车辆轨迹的物理过程进行显示建模，虽然能够解决上述问题，但由于基于设计人员的直觉确定的模型结构不足以捕获各种动态交通场景，在真实交通场景的性能受到限制，并且其计算复杂度高，不能满足实时预测的要求。

近几年，基于深度学习的方法在图像处理领域展现出强大的能力，许多研究者也将深度学习方法中的循环神经网络结构及其各种变体结构应用在车辆位置预测的任务中。这些方法利用车辆过去的行驶数据，在深度学习网络模型中训练，在各自的应用场景中都获得了很好的预测效果。但是这些研究存在两个问题：第一，车辆过去的行驶数据都需要通过车辆上安装的多种传感器捕获得到，这在今天的生产车辆上并不常见；第二，仅能预测出前方车辆的像素位置，不能预测出前方车辆的尺度。

而本发明仅基于行车记录仪拍摄的图像信息实时对前方车辆位置和尺度做出预测，让驾驶员在行车过程中有足够的时间避免交通事故，可以较好的运用到实际场景中。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于车载视频的前方车辆位置预测方法，该方法仅基于行车记录仪拍摄的视频信息，能够实时对前方车辆位置和尺度做出预测，让驾驶员在行车过程中有足够的时间避免交通事故，可以较好的运用到实际场景中。

技术方案：本发明一方面公开了一种基于车载视频的前方车辆位置预测方法，包括训练阶段和预测阶段，其中训练阶段包括：

S1、构建基于编解码框架的车辆位置预测模型，所述车辆位置预测模型用于根据当前时刻t之前的t-0,t-1,…,t-(T-1)时刻前方车辆包围框、所述包围框内的光流、本车在当前时刻t之后的t+1,t+2,…,t+△时刻的运动信息，预测前方车辆在当前时刻t之后的t+1,t+2,…,t+△时刻的包围框；

所述车辆位置预测模型的输入包括：当前时刻t前的T个时刻的视频帧中，前方车辆的包围框序列B、前方车辆包围框内的光流序列F，以及当前时刻t后的△个时刻的视频帧中，本车的运动预测序列M；

所述车辆位置预测模型的输出为当前时刻t后的△个时刻的视频帧图像中前方车辆的预测包围框序列Y；