[发明专利]一种基于深度学习的体感游戏跟踪方法及装置

权利要求书

1.一种基于深度学习的体感游戏跟踪方法，其特征在于，包括如下步骤：

步骤1，通过使用深度或者单目体感摄像机不断地进行图片采集以实现行人检测以及人体关键点检测，其中，在使用深度或者单目体感摄像机开始体感游戏过程中，体感游戏摄像机不断地进行图片采集，将采集得到的图片进行预处理后送入基于深度学习的行人检测器，行人检测器计算出当前体感游戏摄像机拍摄的图片中所有行人矩形框坐标，然后利用得到的行人矩形框坐标以及基于深度学习的人体关键点检测器，检测出每个行人的关键点坐标；

步骤2，构建滤波器，对帧数为t-1时刻的图片每个行人检测框以及对应的人体关键点坐标建立状态向量x_(t-1)，并利用滤波器预测当前t时刻的状态结果x_(t)，最后利用t时刻真实的观测结果对t-1时刻的状态进行更新，其中，滤波算法预测模型如下：

x_t＝Ax_t-1+Bu_t-1+w_t-1

其中，公式中各参数含义为：A：系统状态转移矩阵；x_t-1：t-1时刻系统状态矩阵；B：控制输入矩阵；u_t-1：t-1时刻的控制器向量；w_t-1：t-1时刻过程噪声；

步骤3，确定行人跟踪以及所有行人ID号，其中，在所述步骤1和步骤2中得到当前镜头画面中所有行人的检测框坐标后以及每个行人对应的关键点坐标并对其进行滤波预测后，利用基于深度学习的跟踪算法对每个行人检测框以及对应的人体关键点坐标进行建模，使当前镜头画面中每个行人关联唯一一个对应的ID号，然后不断利用跟踪算法对镜头画面中出现的行人进行跟踪从而建立或者更新对应的ID号；

步骤4，选取游戏操作者的ID号，判断游戏操作者的ID号是否存在于所述步骤3跟踪的结果中，其中，如果当前游戏操作者的ID号存在于所述步骤3跟踪得到的结果中，说明当前游戏操作者还在体感摄像机镜头前，此时游戏操作者的ID号不变，如果游戏操作者的ID号还未选取或者当前游戏者的ID号在跟踪结果中找不到与之对应的ID号，则在所述步骤3的跟踪结果中结合策略选取一个ID作为游戏操作者的ID号；

步骤5，确定游戏操作者，根据所述步骤4的结果，选取游戏操作者的ID号对应的行人作为游戏操作者，选定了游戏操作者后即可通过不断的循环跟踪该游戏操作者，从而使体感游戏系统能够稳定并且准确地识别游戏的操作者。

2.一种基于深度学习的体感游戏跟踪装置，其特征在于，深度或者单目体感摄像机，通过使用深度或者单目体感摄像机不断地进行图片采集以实现行人检测以及人体关键点检测；滤波器，通过所述滤波器实现对帧数为t-1时刻的图片每个行人检测框以及对应的人体关键点坐标建立状态向量x_(t-1)，并利用滤波器预测当前t时刻的状态结果x_(t)，最后利用t时刻真实的观测结果对t时刻的状态进行更新；行人ID确认模块，确定行人跟踪以及所有行人ID号；游戏操作者选取模块，选取游戏操作者的ID号，判断游戏操作者的ID号是否存在于所述行人ID确认模块跟踪的结果中；确定游戏操作者，根据所述游戏操作者选取模块的结果，选取游戏操作者的ID号对应的行人作为游戏操作者，选定了游戏操作者后即可通过不断的循环跟踪该游戏操作者，从而使体感游戏系统能够稳定并且准确地识别游戏的操作者，其中，所述深度或者单目体感摄像机进一步包括：在使用深度或者单目体感摄像机开始体感游戏过程中，体感游戏摄像机不断地进行图片采集，将采集得到的图片进行预处理后送入基于深度学习的行人检测器，行人检测器计算出当前体感游戏摄像机拍摄的图片中所有行人矩形框坐标，然后利用得到的行人矩形框坐标以及基于深度学习的人体关键点检测器，检测出每个行人的关键点坐标；所述滤波器进一步包括滤波算法预测模型如下：

x_t＝Ax_t-1+Bu_t-1+w_t-1

其中，公式中各参数含义为：A：系统状态转移矩阵；x_t-1：t-1时刻系统状态矩阵；B：控制输入矩阵；u_t-1：t-1时刻的控制器向量；w_t-1：t-1时刻过程噪声；

所述行人ID确认模块进一步包括：在所述深度或者单目体感摄像机和滤波器得到当前镜头画面中所有行人的检测框坐标后以及每个行人对应的关键点坐标并对其进行滤波预测后，利用基于深度学习的跟踪算法对每个行人检测框以及对应的人体关键点坐标进行建模，使当前镜头画面中每个行人关联唯一一个对应的ID号，然后不断利用跟踪算法对镜头画面中出现的行人进行跟踪从而建立或者更新对应的ID号；所述游戏操作者选取模块进一步包括：如果当前游戏操作者的ID号存在于所述行人ID确认模块跟踪得到的结果中，说明当前游戏操作者还在体感摄像机镜头前，此时游戏操作者的ID号不变，如果游戏操作者的ID号还未选取或者当前游戏者的ID号在跟踪结果中找不到与之对应的ID号，则在所述行人ID确认模块的跟踪结果中结合策略选取一个ID作为游戏操作者的ID号。