[发明专利]基于多重交互的行人轨迹预测方法、系统、设备和介质

说明书

本发明涉及一种基于多重交互的行人轨迹预测方法、系统、设备和介质，包括：对采集的车辆及环境信息进行提取，得到预设历史时间段内各个时刻的行人特征、车辆特征和环境特征；基于各个时刻的行人特征和车辆特征，利用预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征；基于各个时刻的行人特征和环境特征，利用预先建立的行人与环境交互模型，得到行人与环境的交互特征；基于预设历史时间段内的行人特征、行人与车辆的交互特征、行人与环境的交互特征，利用预先建立的轨迹预测模型，得到行人轨迹预测结果。本发明可以广泛应用于智能汽车的环境感知领域。

技术领域

本发明涉及智能汽车的环境感知领域，具体涉及一种基于多重交互的行人轨迹预测方法、系统、设备和介质。

背景技术

自动驾驶车辆在行驶过程中，对行人的感知极其重要，自动驾驶车辆不仅要对行人进行检测、追踪，而且还要进一步预测出行人轨迹，这样才能帮助自动驾驶车辆做出最优决策，提升自动驾驶车辆的安全性、可靠性。

行人的轨迹预测与车辆的轨迹预测不同，行人的自主性强，在行进过程中会与其他行人、车辆以及环境产生交互，进而改变自己的行进策略。实际中，自动驾驶车辆在行进过程中会与其周围的行人发生交互，交互过程是一个动态博弈过程，而现有的算法并未针对这一本质交互问题进行建模；与此同时，行人与环境之间的交互是由场景的全局信息与局部信息共同决定的，目前针对行人与环境的建模问题大多是将全局的语义分割结果直接与行人特征进行拼接，这种方式不仅忽略了行人所处当前环境的空间对应关系，而且引入全局的语义分割结果也会给行人的轨迹预测带来干扰。所以在实际应用中，行人轨迹预测中的交互建模问题仍然存在较大挑战。

发明内容

针对上述问题，本发明的目的是提供一种基于多重交互的行人轨迹预测方法、系统、设备和介质，通过对行人与车辆的交互特征、行人与环境的交互特征进行研究，对行人轨迹进行预测，提高了行人轨迹预测结果的准确性。

为实现上述目的，本发明采取以下技术方案：

第一方面，本发明提供一种基于多重交互的行人轨迹预测方法，包括以下步骤：

对采集的车辆及环境信息进行提取，得到预设历史时间段内各个时刻的行人特征、车辆特征和环境特征；

基于各个时刻的行人特征和车辆特征，利用预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征；

基于各个时刻的行人特征和环境特征，利用预先建立的行人与环境交互模型，得到行人与环境的交互特征；

基于预设历史时间段内的行人特征、行人与车辆的交互特征、行人与环境的交互特征，利用预先建立的轨迹预测模型，得到行人轨迹预测结果。

进一步，所述基于各个时刻的行人特征和车辆特征，利用预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征，包括：

将行人特征和车辆特征分别进行特征编码处理，得到行人特征编码和车辆特征编码；

将行人特征编码和车辆特征编码输入预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征。

进一步，所述将行人特征和车辆特征分别进行特征编码处理，得到行人特征编码和车辆特征编码，包括：

分别对每一时刻的行人特征进行GRU时序编码和位置编码，并将行人特征的GRU时序编码和位置编码按照时刻对应相加，得到行人特征编码；

分别对每一时刻的车辆特征进行GRU时序编码和位置编码，并将车辆特征的GRU时序编码和位置编码按照时刻对应相加，得到车辆特征编码。

进一步，所述基于时序交叉注意力机制的人车交互模型包括：交叉注意力机制模块和RNN编码器模块，其中，所述交叉注意力机制模块用于根据行人特征编码和车辆特征编码，计算得到基于交叉注意力机制的行人特征；所述RNN编码器模块用于从基于交叉注意力机制的行人特征中提取其时序特征，得到行人与车辆的交互特征。