[发明专利]一种基于语义一致性的轨迹预测方法及装置

说明书

本发明公开了一种基于语义一致性的轨迹预测方法及装置。其方法包括获取智能体的历史轨迹坐标和场景图像；通过上下文感知模块编码所述智能体的轨迹坐标和场景图像，获取智能体的迁移图像，再通过第一卷积神经网络提取所述迁移图像的上下文特征；利用长短记忆网络模块提取智能体的历史轨迹特征，并将提取的历史轨迹特征与所述上下文特征融合，通过上下文解码器解码，获取智能体的预测轨迹。本发明利用上下文感知模块轨迹坐标和场景图像进行编码，获取场景下的活动语义和社会交互关系特征，将不同时刻的特征映射到迁移图像，在语义层面上将这些特征对齐，实现智能体轨迹预测中消除不同物理环境、不同社会交互，以及社会交互与场景交互差异的目的。

技术领域

本发明涉及轨迹预测技术领域，特别是涉及一种基于语义一致性的轨迹预测方法及装置。

背景技术

轨迹预测是根据智能体历史的轨迹坐标以及周围物理环境动态变化去预测未来的轨迹坐标。轨迹预测被广泛地应用于行为理解与分析、目标检测与跟踪、无人驾驶等领域。

现有技术主要是基于交互关系(Interactions)的表征进行研究。在轨迹预测任务中，交互是指目标智能体(预测对象)对外界其他因素(其他智能体、物理环境等)影响的一种反馈，如：其他智能体的运动状态会影响目标智能体未来的行为，同样地，场景的拓扑结构(例如：建筑物的分布)也会影响智能体的运动轨迹。因此，交互关系主要包括社会交互(Social Interaction)关系和场景交互(Scene Interaction)关系。通常将智能体与智能体之间的交互称为社会交互，将智能体与物理环境之间的交互成为场景交互。

基于社会交互的方法，只考虑智能体的影响，主要包括：S-LSTM，S-Att，CIDNN，STGCNN，S-BiGAT。其中，S-LSTM引入了“Social-Pooling”，利用长短记忆网络(Long Short-Term Memory，LSTM)共享智能体间的空间位置信息，以学习局部社会交互关系，然而，S-LSTM并没有区分其他智能体对目标智能体影响的重要程度。S-Att和CIDNN分别采用了软注意力机制和空间亲和度去度量其他智能体对目标智能体影响的重要程度，更进一步地学习场景内社会交互关系。另外一类方法采用图神经网络(Graph Neural Network，GNN)去描述智能体间的社会交互关系，例如：，STGCNN采用了时空图卷积网络，S-BiGAT采用了时空图注意力网络。

基于社会交互与场景交互的方法，除了考虑了社会交互外，更加聚焦于如何从场景图像中获取场景语义，主要包括：Sophie，NEXT。Sophie通过卷积神经网络(Convolutional Neural Network,CNN)从场景图像中提取视觉特征以获取场景语义。NEXT利用语义分割技术获取场景图像的分割图以获取像素级的语义类别。这些方法通过场景语义刻画智能体与物理环境的场景交互关系。