[发明专利]基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法

摘要

一种基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，由对获取的数据进行预处理、基于社会亲和力映射图的池化操作、目标轨迹预测、训练模型、构建预测轨迹步骤组成。本发明将数据驱动善于处理连续序列问题的长短期记忆网络结合社会亲和力映射图来进行轨迹预测，模型由序列数据驱动，通过训练可以学习到普遍的行人轨迹模式，再结合预测时提取到的个人的轨迹特征和周围相关行人的轨迹特征，可以实现复杂场景的行人轨迹预测。本发明与现有技术相比，具有方法简单、与环境无关等优点，可用于捕获行人间约定俗成的社会习惯和微妙的交互，预测未来发生的交互。

主权项

1.一种基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于由以下步骤组成：(1)对获取的数据进行预处理行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合数据集中共有5个场景，为目标O_k在时间步t的坐标，时间步t与时间步t+1之间的步长为t_step，T是集合坐标序列的总数、为有限的正整数，k是在T个坐标序列集合中的任意一个坐标序列，{O_k|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标O_i,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率；(2)基于社会亲和力映射图的池化操作社会亲和力长短期记忆网络模型包括输入层、隐含层、池化层、输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作；每个行人规划有一个半径为L像素的圆形区域，根据目标间的空间相对位置将圆形区域聚类划分为G₀个区域，G₀个区域代表G₀种社会亲和力，聚类后的圆形区域为社会亲和力映射图；在时间步t，目标O_i的任一邻近目标O_m位于社会亲和力映射图范围内，为目标O_i的任一邻近目标，任一邻近目标O_m有大小为G₀×1的相对位置矩阵为任一邻近目标O_m在社会亲和力映射图中相对于目标O_i的位置，一个空间相对位置为区域1的邻近目标O_m位置矩阵如下:矩阵中元素1为任一邻近目标O_m相对位置，元素0为非任一邻近目标O_m相对位置，通过张量保存目标O_i所有邻居的位置信息和相对应的长短期记忆网络时间步t‑1的隐含层状态，张量通过公式(2)、(3)获得:其中，为任一邻近目标O_m在时间步t‑1的长短期记忆网络隐含层状态，是包含任一邻近目标O_m在时间步t相对位置的隐含层状态，是社会亲和力映射图范围内所有任一邻近目标O_m的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加；通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络；(3)目标轨迹预测通过张量获取目标O_i在时间步t的xy坐标信息:式中φ(.)为ReLU函数，W_e为xy坐标的权重矩阵，为目标O_i在时间步t的xy坐标，b_e为xy坐标的偏置矩阵；目标O_i的长短期记忆网络在时间步t的隐含层状态包含有时间步t‑1的池化层状态时间步t‑1目标O_i的隐含层状态时间步t目标O_i的位置信息通过公式(6)得隐含层状态式中Wl为长短期记忆网络输入的权重矩阵，bl为长短期记忆网络输入的偏置矩阵；用隐含层状态预测时间步t+1目标O_i的xy坐标长短期记忆网络的输出层状态通过公式(7)得:式中W_o为长短期记忆网络隐含层状态的权重矩阵，b_o为长短期记忆网络隐含层状态的偏置矩阵，为均值，为标准差，均为二维，为xy坐标的相关系数；在预测坐标之前，输出层状态通过公式(8)、(9)、(10)进行更新:用双变量高斯函数预测时间步t+1目标O_i的xy坐标(4)训练模型通过交叉验证的方式对社会亲和力长短期记忆网络模型进行训练，即用4个场景的坐标序列集合训练模型，用剩下的1个场景的坐标序列集合测试，对5个坐标序列集合重复5次相同的操作，训练方法为：选择负对数似然函数作为损失函数训练社会亲和力长短期记忆网络模型:其中tobs+1为预测开始时间，tpred为预测结束时间，通过最小化损失函数，学习得到最佳的模型参数，训练得到行人普遍的行走模式；(5)构建预测轨迹结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。