[发明专利]基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法

说明书

一种基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，由对获取的数据进行预处理、基于社会亲和力映射图的池化操作、目标轨迹预测、训练模型、构建预测轨迹步骤组成。本发明将数据驱动善于处理连续序列问题的长短期记忆网络结合社会亲和力映射图来进行轨迹预测，模型由序列数据驱动，通过训练可以学习到普遍的行人轨迹模式，再结合预测时提取到的个人的轨迹特征和周围相关行人的轨迹特征，可以实现复杂场景的行人轨迹预测。本发明与现有技术相比，具有方法简单、与环境无关等优点，可用于捕获行人间约定俗成的社会习惯和微妙的交互，预测未来发生的交互。

技术领域

本发明属于图像处理技术领域，具体涉及到采用社会亲和力长短期记忆网络实现拥挤场景行人轨迹预测。

背景技术

行人轨迹预测是指通过目标已有的运动轨迹对其未来固定时刻的位置坐标进行预测。行人轨迹预测是计算机视觉领域的核心问题，有很多应用方向，如自动驾驶汽车，智能追踪系统，送餐机器人等。

现有的行人轨迹预测方法有Social Force(SF)模型，Gaussian processes方法，Correlation Filter(CF)模型，Convolutional Neural Networks(CNN)方法和Social长短期记忆网络模型。SF模型由能量函数驱动，函数将行人间和行人与障碍物间的吸引和排斥转化为能量来预测行人轨迹。Gaussian processes方法通过高斯混合模型分布来预测速度、角偏量等参数。Correlation Filter(CF)模型通过设计滤波模板，使得模板和输入图片做相关时，能在目标中心位置得到最大响应值。Convolutional Neural Networks(CNN)方法和Recurrent Neural Networks(RNN)方法都应用了神经网络来进行轨迹预测。Convolutional Neural Networks(CNN)方法输入为图像，Social长短期记忆网络模型输入为轨迹坐标序列。

Social Force(SF)模型，Gaussian processes方法，Correlation Filter(CF)模型都要由复杂的公式或函数驱动，Social Force(SF)模型只能捕获吸引和排斥两种固定的交互类型，当处理复杂的交互和场景时有一定的局限性。目前通过神经网络进行轨迹预测取得了很大的进步，Convolutional Neural Networks(CNN)方法中的Multi-DomainNetwork(MDNet)模型得到了瞩目的实验结果，Recurrent Neural Networks(RNN)方法中的Social长短期记忆网络模型将RNN的变种长短期记忆网络用于轨迹预测并取得一定的进步。以上的轨迹预测方法都在复杂的交互或是复杂的场景下有一定的局限性。

发明内容

本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种结构简单、方法简单、可适用于复杂场景、可捕获多种交互的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法。

解决上述技术问题采用的技术方案由以下步骤组成：

(1)对获取的数据进行预处理

行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合数据集中共有5个场景，为目标O_k在时间步t的坐标，时间步t与时间步t+1之间的步长为t_step，T是集合坐标序列的总数、为有限的正整数，k是在T个坐标序列集合中的任意一个坐标序列，{O_k|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标O_i,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率。

(2)基于社会亲和力映射图的池化操作

社会亲和力长短期记忆网络模型包括输入层、隐含层、池化层、输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。