[发明专利]一种基于深度学习与大数据的体感游戏交互方法及系统

权利要求书

1.一种基于深度学习与大数据的体感游戏交互方法，其特征在于，所述方法包括：

步骤一 收集动作视频样本数据集

预先收集不同玩家游戏时的肢体动作视频片段，得到动作视频样本数据集，并为样本数据添加相应的动作标签，动作标签与游戏目标控制指令一一对应；

步骤二 建立并离线训练深度卷积神经网络模型

对步骤一获得的视频样本数据集进行深度学习训练，建立深度卷积神经网络模型并进行离线训练，离线训练时将误差反向传播，并使用随机梯度下降法更新网络权重参数，最终使网络的损失函数到达一个最小值，所述深度卷积神经网络模型用于输入玩家游戏时的肢体动作视频，输出玩家动作预测结果；所述玩家动作预测结果包括动作分类及动作分类的概率分布数据；

步骤三 使用将深度卷积神经网络模型

将深度卷积神经网络模型融合进体感游戏交互系统中，通过深度卷积神经网络分析玩家游戏时的实时肢体动作，并转换为对游戏目标的实际控制数据。

2.如权利要求1所述的基于深度学习与大数据的体感游戏交互方法，其特征在于，所述动作视频样本数据库包括训练数据库、验证数据库、测试数据库，大小比例为70％：10％：20％。

3.如权利要求1所述的基于深度学习与大数据的体感游戏交互方法，其特征在于，对深度卷积神经网络的离线训练具体包括：

确定用于网络模型训练的不同玩家游戏时的肢体动作视频，对视频帧的尺寸归一化；

将动作视频在卷积神经网络模型中做迭代训练，并在迭代训练过程中采用随机梯度下降法调整网络权值参数，直至达到最大迭代次数或在验证集上检测的准确率连续一定时间不下降时停止训练，得到用于对玩家游戏时的实时肢体动作进行分析的卷积神经网络模型。

4.如权利要求1所述的基于深度学习与大数据的体感游戏交互方法，其特征在于，深度卷积神经网络模型包括卷积层、下采样层、全连接层、softmax层，所述卷积层包括五层卷积层，第一、三、五层卷积层各设有一个下采样层，下采样层用于对卷积操作处理后得到的特征图进行下采样。

5.如权利要求1所述的基于深度学习与大数据的体感游戏交互方法，其特征在于，所述方法还包括：

步骤四 基于大数据的深度网络模型在线优化

利用大数据平台收集玩家实际的游戏操作肢体动作视频；

对视频进行预处理后，传送至云服务器，在云服务器中构建带标签的样本数据库；

定期利用所述动作视频样本数据库对所述离线训练得到的深度卷积神经网络模型进行在线微调；

定期将所述在线微调后的网络模型更新至体感游戏交互系统中。

6.如权利要求5所述的基于深度学习与大数据的体感游戏交互方法，其特征在于，对视频进行预处理，包括剔除视频中与游戏玩家肢体操作内容无关的帧，并对视频尺度归一化。

7.如权利要求5所述的基于深度学习与大数据的体感游戏交互方法，其特征在于，将视频传送至云服务器之前，使用视频压缩技术减少视频数据的冗余后，再将压缩后的视频存储至云服务器中。

8.一种基于深度学习与大数据的体感游戏人机交互系统，其特征在于，所述系统包括：

深度卷积神经网络离线训练模块，用于对由玩家戏时的肢体动作视频组成的训练样本数据集进行深度学习训练，建立深度卷积神经网络，训练时将误差反向传播，并使用随机梯度下降法更新网络权重参数，最终使网络的损失函数到达一个最小值，深度卷积神经网络用于输入玩家游戏时的肢体动作视频，输出游戏玩家动作预测结果；游戏玩家动作预测结果包括动作分类及其概率分布数据；

实时人机交互模块，用于在游戏玩家开始游戏时，启动游戏主机自带的普通摄像头，实时采集游戏玩家与游戏目标人物交互的肢体动作，并传送至游戏主机的中央处理单元，作为深度卷积神经网络模型的数据输入流，经过深度网络的分析之后，得到游戏玩家动作类别，再发出与该类别相应的指令控制游戏目标人物的运动轨迹；

基于大数据的深度网络模型在线优化模块，用于利用大数据平台收集玩家游戏时的肢体动作视频，对视频进行预处理后传送至云服务器，在云服务器中构建大规模带标签的样本数据库；定期利用样本数据库对离线训练得到的深度卷积神经网络模型进行在线微调，并定期将在线微调后的网络模型更新至体感游戏交互系统中。