[发明专利]一种基于多层次时空图神经网络的人群轨迹预测方法

说明书

本发明提供了一种基于多层次时空图神经网络的人群轨迹预测方法，属于计算机视觉和人群轨迹预测技术领域。本发明方法包括：从场景中各行人的历史轨迹中提取行人的运动状态特征；将行人运动过程建模为一个多层次动态时空有向图，使用一个多层次时空图神经网络进行处理，提取得到每个行人的运动交互特征，在提取时，在不同层次分别提取不同距离范围的交互特征，再将不同层次的交互特征融合得到最终的交互特征；基于运动交互特征和运动状态特征预测行人的未来轨迹。本发明通过将不同距离范围的行人交互建模在图的不同层次来差异化建模不同距离范围相同类型交互的影响，使行人交互建模更细致合理，从而提升人群轨迹预测精度。

技术领域

本发明属于计算机视觉和人群轨迹预测技术领域，涉及人群运动交互建模，具体涉及一种基于多层次时空图神经网络建模人群运动交互的人群轨迹预测方法。

背景技术

人群轨迹预测是指在给定场景中一段历史时期行人运动轨迹和场景信息的情况下，预测未来一段时期这些行人的运动轨迹。人群轨迹预测在许多方面都有重要应用，比如自动驾驶，机器人导航和智能交通系统。越来越多的移动服务机器人会在与人类共享的家庭、工业和城市环境中运行。为了规划安全的运动路径以及创造良好的人机交互体验，机器人需要对周围的人群进行智能感知并合理预测人群的运动。类似的还有自动驾驶车辆，对于自动驾驶车辆而言，预测周围道路使用者的行动是其完成安全驾驶、避免碰撞事故的必要前提。尤其对于行人这一道路弱势群体，他们相比于车辆等道路使用者更容易受到伤害。所以对于自动驾驶车辆来说，准确预测行人将来的动向显得尤为迫切。智能监控系统需要对监控中的人群目标进行有效分析，人群轨迹预测是进行人群行为分析的关键基础技术。行人在运动过程中不是独立前进的，会互相产生影响和交互。行人之间会互相避让，会保持一定的社交距离，后面的行人会跟随前面的行人等等一系列的行人之间微妙多样的交互行为会影响行人的运动轨迹。

现有的人群轨迹预测方法对行人之间运动交互的处理从技术上主要可以分为基于池化机制、基于注意力机制和基于图神经网络三大类，与本发明最相关的是基于图神经网络的方法。行人之间的交互很适合使用图结构来描述，一般地，图的节点是行人而边表示两个行人之间存在交互影响，然后通过将邻接节点的属性汇聚到目标节点的方式提取得到周围行人对目标行人的交互影响。基于图神经网络的人群轨迹预测方法如Social-BiGAT方法、STGAT方法、以及Social-STGCNN方法。参考文献1公开的Social-BiGAT方法，在每个时刻使用图注意力机制对场景中所有人进行行人交互影响的提取，当提取目标行人的交互特征时，所有人都被视作会对该行人产生影响，然后基于注意力机制计算出场景中每个人对目标行人的不同的交互影响分数，再加权求和得到目标行人的交互特征，简言之就是图是一个完全图，然后汇聚邻居节点属性到中心节点得到中心节点新的属性(交互影响)。Social-BiGAT在每个时刻建立一张空间图来建模场景中行人之间的交互过程，每张空间图之间并不发生联系，只是将图注意力机制在空间上对交互特征进行了提取。而参考文献2公开的STGAT方法和参考文献3公开的Social-STGCNN方法在建模行人交互过程时，将整个过程建模成一个时空图而不只是像比Social-BiGAT一样在每个时刻构建一个空间图。但是它们都忽略了重要一点，就是空间上，不同范围内的相同类型交互也会导致不同的行为。比如假设在稍远处有一个行人朝目标行人奔跑而来，而近处有一个行人挡住了目标行人的前进，他们都会对目标行人有重大影响，然而他们对目标行人造成的影响结果是有差异的，一个是提前避让，另一个是瞬时避让，因此，需要做到差异化建模不同距离范围相同交互的影响。

参考文献：

[1]Kosaraju,V.,Sadeghian,A.,Martn-Martn,R.,et al.Social-BiGAT:Multimodal Trajectory Forecasting using Bicycle-GAN and Graph AttentionNetworks[G]//Advances in Neural Information Processing Systems.2019:137-146.