[发明专利]一种基于深度学习与大数据的体感游戏交互方法及系统

说明书

技术领域

本发明公开了一种基于深度学习与大数据的体感游戏交互方法及系统，属于人机交互技术领域。

背景技术

体感游戏是一种通过玩家的肢体动作变化来操作和感受的新型电子游戏。相比于传统的依靠鼠标键盘、游戏手柄等设备作为交互媒介的电子游戏系统而言，体感游戏通过识别玩家“肢体动作”作为交互方式。传统电子游戏要求玩家长期坐于游戏设备前，不利于身心健康，而在体感游戏中，玩家通过身体向游戏发出全部指令，身体与游戏一起舞动没有任何束缚，这极大地丰富了玩家的游戏沉浸感，给予了玩家极佳的体感体验，并且在游戏娱乐的同时也能锻炼身体。

目前，体感游戏有以下实现方式：1、微软的XBOX 360通过采用kinect 3D摄像机采集玩家的肢体骨骼信息来识别玩家肢体动作，其识别准确率高但设备昂贵；2、通过佩戴或手持的传感器来采集玩家的肢体信息，从而识别玩家肢体动作，该实现要求玩家佩戴或手持传感器，这可能会造成玩家的不适，影响玩家体验。总而言之，这些体感游戏对硬件设备要求严格，配置环境复杂，游戏成本高，不利于体感游戏的普及与推广。

发明内容

鉴于现有体感游戏的缺陷，现提出一种基于深度学习与大数据的体感游戏交互方法和系统。使用普通摄像头实时采集游戏玩家游戏操作视频，经过深度卷积神经网络提取动作高层语义特征，对肢体动作进行判别，并转换为对游戏目标的实际控制数据，从而实现由玩家肢体控制游戏目标做出与玩家运动相应的动作。

本发明提供了如下方案：

一种基于深度学习与大数据的体感游戏人机交互方法，所述方法包括：

步骤一收集动作视频样本数据集

预先收集不同玩家游戏时的肢体动作视频片段，得到动作视频样本数据集，并为样本数据添加相应的动作标签，动作标签与游戏目标控制指令一一对应；

步骤二建立并离线训练深度卷积神经网络模型

对步骤一获得的视频样本数据集进行深度学习训练，建立深度卷积神经网络模型并进行离线训练，离线训练时将误差反向传播，并使用随机梯度下降法更新网络权重参数，最终使网络的损失函数到达一个最小值，所述深度卷积神经网络模型用于输入玩家游戏时的肢体动作视频，输出玩家动作预测结果；所述玩家动作预测结果包括动作分类及动作分类的概率分布数据；

步骤三使用将深度卷积神经网络模型

将深度卷积神经网络模型融合进体感游戏交互系统中，通过深度卷积神经网络分析玩家游戏时的实时肢体动作，并转换为对游戏目标的实际控制数据。

进一步的，所述动作视频样本数据库包括训练数据库、验证数据库、测试数据库，大小比例为70％：10％：20％。

进一步的，对深度卷积神经网络的离线训练，具体包括：

确定用于网络模型训练的不同玩家游戏时的肢体动作视频，对视频帧的尺寸归一化，方便后续的特征分析与提取；

将动作视频在卷积神经网络模型中做迭代训练，并在迭代训练过程中采用随机梯度下降法调整网络权值参数，直到达到最大迭代次数或者在验证集上检测的准确率连续一定时间不下降了再停止训练，最终得到用于对玩家游戏时的实时肢体动作进行分析的卷积神经网络模型。

进一步的，深度卷积神经网络模型包括卷积层、下采样层、全连接层、softmax层，所述卷积层包括五层卷积层，第一、三、五层卷积层各设有一个下采样层(max-pooling层)，下采样层用于对卷积操作处理后得到的特征图进行下采样，实现了特征降维；卷积层和全连接层的激活函数采用修正线性单元ReLU，这能提高模型的收敛速度。

进一步的，所述方法还包括：

步骤四基于大数据的深度网络模型在线优化

在将该体感游戏系统投放于市场之后，利用大数据平台收集玩家实际的游戏操作肢体动作视频；

对视频进行预处理后，传送至云服务器，在云服务器中构建大规模带标签的样本数据库；

定期利用所述动作视频样本数据库对所述离线训练得到的深度卷积神经网络模型进行在线微调，进一步提高网络的识别准确率；

定期将所述在线微调后的网络模型更新至体感游戏交互系统中，让游戏玩家获得更好的体感体验。

进一步的，对视频进行预处理，包括剔除视频中与游戏玩家肢体操作内容无关的帧，并对视频尺度归一化。

进一步的，将视频传送至云服务器之前，使用视频压缩技术减少视频数据的冗余后，再将压缩后的视频存储至云服务器中，从而在云服务器中构建大规模带标签的样本数据库。