[发明专利]一种基于Transformer的毫米波雷达行人轨迹预测方法

权利要求书

1.一种基于Transformer的毫米波雷达行人轨迹预测方法，其特征在于：包含以下步骤：

步骤1，利用双目摄像机和毫米波雷达，获取图像和回波数据，进而得到行人的水平空间坐标定位；

步骤2，将行人的水平空间坐标和对应的定位时间组合作为行人的状态向量；

步骤3，利用行人状态向量构造存在最佳匹配的二分图；

步骤4，利用KM算法解决寻找加权二分图的最佳匹配，通过连续地将当前最新定位结果匹配到轨迹上，进而获得所有行人在一定时间段内的历史轨迹序列；

步骤5，对获得的历史轨迹使用卡尔曼滤波，消除轨迹中存在的噪声，获得真实的行人历史轨迹；

步骤6，使用行人运动状态图来确定可能对目标行人造成影响的邻近行人，并构造邻近行人历史轨迹；

步骤7，分别将目标行人的历史轨迹、邻近行人的历史轨迹输入行人历史轨迹编码器和临近历史轨迹编码器，并通过基于正弦和余弦函数的位置编码为输入的行人运动状态添加时序信息；

步骤8，基于Transformer的行人轨迹预测模型TTPM使用未来轨迹编码器来建模行人未来所处的位置对更远未来时刻位置造成的影响；

步骤9，三种轨迹编码器基于Transformer提供的注意力机制对轨迹进行编码，同时生成记忆向量，然后拼接行人历史轨迹编码器与邻近历史轨迹编码器生成的记忆向量来汇总两种轨迹对行人未来轨迹的影响；

步骤10，TTPM使用池化及多层感知器来提取数据的分布特征，并基于重采样技术生成行人位置潜状态，最终使用未来轨迹解码器根据行人位置潜状态生成对目标行人未来轨迹的预测。

2.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法，其特征在于：步骤1中包括如下步骤：

步骤1-1，双目摄像机获取待测区域的深度数据矩阵和RGB图像矩阵；毫米波雷达并行地获取回波数据；

步骤1-2，使用人体姿态估计算法从RGB图像矩阵中计算行人人体关键点的像素坐标，再从深度图像中获取关键点的像素坐标的空间笛卡尔坐标，计算空间水平坐标(X,Y)；

步骤1-3，对回波数据使用AOA算法，将步骤1-2中的坐标(X,Y)作为标签，将所得数据输入卷积神经网络，得到准确的雷达回波模型；

步骤1-4，对步骤1-2中的数据使用OS-CFAR算法去噪后，使用DBSCAN聚类算法对人员反射信号点分簇，提取每一簇的的中心后通过坐标映射，得到行人在雷达极坐标系中的坐标(R,θ)；

步骤1-5，将(X,Y)通过坐标变换后，得到对应的极坐标，将其与毫米波雷达得到的极坐标(R,θ)使用KM加权二分图匹配算法，得到最终行人的水平空间坐标(x_i,y_i)。

3.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法，其特征在于：步骤2包括如下步骤：

步骤2-1，根据获取的水平空间坐标定位，当存在多条行人轨迹，每条轨迹的最后一次定位发生于t-1时刻，水平空间坐标为(x_i,y_i)，行人的状态向量表示为u_i＝(t-1,x_i,y_i)，i＝1,2,…,q；

步骤2-2，设当前t时刻共产生k个水平空间定位结果(x_j,y_j)，每个定位结果的状态向量表示为v_j＝(t,x_j,y_j)，j＝1,2,…,k。

4.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法，其特征在于：步骤3包括如下步骤：

步骤3-1，将每个最近出现过的行人的最后状态向量作为构成二分图的子图U的顶点；当前时刻各个行人的状态向量构成二分图的另一子图V的顶点；

步骤3-2，为步骤3-1中构造的子图U和V中的每一对顶点添加无向边(u,v)，u∈Uv∈V，每条无向边的权重为顶点u和v之间的欧几里得距离；

步骤3-3，考虑到毫米波雷达实际定位过程中，存在二分图中每个子图的顶点数不相同的问题，对数量少的子图添加虚拟顶点。