[发明专利]基于路口多视角的车辆轨迹预测规划方法及系统

权利要求书

1.一种基于路口多视角的车辆轨迹预测规划方法，基于部署在路测设备的多视角相机实现，所述方法包括：

步骤1)对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；

步骤2)对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；

步骤3)根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；

步骤4)根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆；

所述步骤3)具体包括：

根据连续多帧路口车辆分布鸟瞰图，得到每个待预测车辆在最后一帧的预测位置信息，并建立每个待预测车辆对应于卡尔曼滤波中的目标状态模型X为：

其中，u和v分别表示待预测车辆的位置中心相对于分布鸟瞰图的横纵坐标，s和r分别表示该车辆的目标边界框尺寸大小和比例，和分别表示待预测车辆的横纵方向分量速度，T表示转置；

使用匈牙利指派算法进行数据关联，根据待预测车辆的预测位置信息和真实位置信息之间的距离，对待预测车辆的预测位置信息和车辆进行关联，从而得到鸟瞰图中每个待预测车辆位置的匹配信息；

所述步骤4)具体包括：

遍历鸟瞰图中每辆待预测车辆，重复以下步骤：

根据卡尔曼滤波预测的待预测车辆下一时刻的中心位置和边界框的位置，结合前一时刻鸟瞰图中该车辆位置信息，得到矢量方向即为待预测车辆的前进方向；

将预测位置信息和最后一帧鸟瞰图中该车辆实际位置的标量大小除以鸟瞰图帧与帧之间的时间间隔，得到待预测车辆的速度；

将该车辆的预测方向和预测速度信息绑定唯一指向该车的ID号，发送至对应车辆。

2.根据权利要求1所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述步骤1)的预处理包括白化和去噪处理。

3.根据权利要求1所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述步骤2)具体包括：

步骤2-1)将预处理后的多视角图像依次输入预先建立和训练好的特征提取模型得到每一帧图像对应的特征；

步骤2-2)通过联合旋转-平移矩阵对每一帧图像对应的特征进行转换，设置采样网格的尺寸为H×W，将转换后的特征图透视变换到地平面上，视野外的区域用统一的数字填充；其中，H和W分别表示预测的路口车辆鸟瞰图的高度和宽度；

步骤2-3)将平面栅格化为H×W的大小，平面位置的X-Y坐标信息分别存放在一个二维张量中，将坐标张量和投影到地平面上的张量沿通道方向进行拼接，得到对应时刻路口车辆分布的鸟瞰图，重复该步骤得到一段时间内连续多帧路口车辆分布鸟瞰图。

4.根据权利要求3所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述特征提取模型使用ResNet50作为主干网络，并将两个3×3的卷积替换为1×1+3×3+1×1的卷积层以减少计算时间。