[发明专利]一种基于车载视频的前方车辆位置预测方法和预测系统

权利要求书

1.一种基于车载视频的前方车辆位置预测方法，包括训练阶段和预测阶段，其特征在于，所述训练阶段包括：

S1、构建基于编解码框架的车辆位置预测模型，所述车辆位置预测模型用于根据当前时刻t之前的t-0,t-1,…,t-(T-1)时刻前方车辆包围框、所述包围框内的光流、本车在当前时刻t之后的t+1,t+2,…,t+△时刻的运动信息，预测前方车辆在当前时刻t之后的t+1,t+2,…,t+△时刻的包围框；

所述车辆位置预测模型的输入包括：当前时刻t前的T个时刻的视频帧中，前方车辆的包围框序列B、前方车辆包围框内的光流序列F，以及当前时刻t后的△个时刻的视频帧中，本车的运动预测序列M；

所述车辆位置预测模型的输出为当前时刻t后的△个时刻的视频帧图像中前方车辆的预测包围框序列Y；

所述车辆位置预测模型包括：前方车辆包围框编码器、前方车辆光流编码器、特征融合单元、前方车辆位置预测解码器；

所述前方车辆包围框编码器用于对前方车辆的包围框序列B编码，得到前方车辆的时序特征矢量

所述前方车辆光流编码器用于对前方车辆包围框内的光流序列F编码，得到前方车辆的运动特征矢量

所述特征融合单元将前方车辆的时序特征矢量和运动特征矢量连接为前车的融合特征矢量

所述前方车辆位置预测解码器根据本车的运动预测序列M对特征矢量解码，得到当前时刻t后的△个时刻的视频帧中前方车辆的预测包围框；

S2、构建样本集并对车辆位置预测模型进行训练，包括：

S2-1、采集能够拍摄到前车的多个时长为s的车载视频片段，对每个视频片段中的视频帧进行采样，并确定采样后的视频帧中前方车辆的包围框序列B_tr、包围框内的光流序列F_tr和视频帧对应时刻本车的运动预测序列M_tr，构成样本集；

S2-2、将样本集划分为训练集和验证集；设置学习率σ，批处理数量N；

S2-3、训练过程采用Adam优化器，根据训练集样本数和N确定训练批次N′；将训练样本中的视频片段前s′时长的视频帧对应的B_tr、F_tr，后s″时长的视频帧对应的M_tr作为车辆位置预测模型的输入，后s″时长的视频帧对应的B_tr作为输出，对所述模型进行训练，保存模型参数，并用验证集验证模型的预测准确度；s′+s″＝s；

S2-4、选择N′批训练中预测准确度最高的模型参数作为车辆位置预测模型的参数；

所述预测阶段包括：

车辆上设置可以拍摄前方车辆的摄像头，获取所述摄像头在车辆行驶中采集的视频数据；

对视频中每一帧图像进行车辆检测与跟踪，得到每一辆前车的包围框序列，并存入B_test(i)中，i为前车编号；同时计算包围框内的光流，存入F_test(i)；获取本车在未来帧中的运动信息，存入序列M_test；

在序列B_test(i)和F_test(i)中采用长度为T的第一滑动窗，在序列M_test中采用长度为△的第二滑动窗，分别截取当前时刻t前的T个视频帧中车辆i的包围框、所述包围框内的光流，以及当前时刻t后的△个视频帧中本车的运动信息预测值，输入训练好的车辆位置预测模型中，得到前方车辆i在当前时刻t后的△个视频帧中的包围框序列Y′(i)＝[Y′_t+1(i),Y′_t+2(i),…,Y′_t+δ(i),…,Y′_t+△(i)]，计算前方车辆i的包围框在当前时刻视频帧中的相对位置：其中B_test,t+0(i)为前方车辆i在当前时刻t的包围框；1≤δ≤△；

根据Y′(i)中包围框的中心得到前方车辆i的预测轨迹；根据Y′(i)中包围框的宽高得到前方车辆i尺度。

2.根据权利要求1所述的前方车辆位置预测方法，其特征在于，所述前方车辆的包围框序列采用如下步骤计算：

A.1、对连续T个时刻的视频帧图像进行车辆检测，得到每帧图像中所有车辆的包围框；

A.2、采用多目标跟踪算法跟踪步骤A.1得到的车辆包围框，对不同帧中同一车辆给出相同编号，按时间顺序构成T个时刻前方车辆包围框序列B。