[发明专利]基于深度强化学习的AR增强现实大屏互动的动画仿真方法

权利要求书

1.基于深度强化学习的AR增强现实大屏互动的动画仿真方法,其特征在于，包括下述步骤：

步骤一，通过动作捕捉系统采集专业人士的动作数据，将不同设备采集的数据统一转成bvh格式，通过代码将数据进行分割、提取有用的数值并按照动作定义的关节顺序进行组合排序，作为参考动作集；

步骤二，利用深度强化学习算法，每个策略由两个神经网络互相作用来表示，先构建两个caffe卷积神经网络框架：第一个网络的第一层为512个单元组成的完全连接层，且为双线性相位变换，第二层为两组、六个256个单元的线性输出层，上面的一个是评论者子网络，用来预测每个演员的值函数；下面的是演员子网络，用来为给定的状态选择出要执行的动作；步骤一的参考动作集用于critic-actor策略进行决策的训练，得到输出的动作a_i，来驱动动画角色模仿专业人士的动作姿势；第二个网络由两层256个单元组成的完全连接层组成，通过角色区域的选定，来加快当下肢需要进行大幅度移动时的学习效率；

步骤三，通过策略中的自适应样式和初始定义动作集使动画可以根据特殊的情景来生成有别于参考动作的动作，来更好地适应新的环境；

步骤四，测试时，通过PD控制器驱动动画角色，直接嵌入AR增强现实系统中，或与AR增强现实系统中原有的动画角色进行结合，以达到控制动画角色动作的目的；

步骤五，AR增强现实系统中的动画角色模仿出真人的标准动作，使角色更加生动逼真；同时可以使角色自主决策左右两个方向的移动，准确地进行动作模拟。

2.如权利要求1所述的基于深度强化学习的AR增强现实大屏互动的动画仿真方法，其特征在于，在步骤一中，所述将数据进行分割的标准为：将连续的动作分成许多5秒的单独动作片段，再对每个动作片段平均分成10份，即每份0.5秒，提取中间数据，作为一个动作的元组数据，所述参考动作集里面存储了许多专业人士的动作姿势，供动画角色学习模仿；参考动作将作为目标和奖励函数中的一个分量。

3.如权利要求1所述的基于深度强化学习的AR增强现实大屏互动的动画仿真方法，其特征在于，在步骤二中，所述双线性相位变换是为了保持LLC与参考运动同步，构造Φ=（Φ0，Φ1，Φ2，Φ3，Φ4）T，Φi∈（0,1）；其中，Φ0∈（0,0.2），则Φ0=1，否则为0。

4.如权利要求1所述的基于深度强化学习的AR增强现实大屏互动的动画仿真方法，其特征在于，在步骤二中，所述“critic-actor策略”为：在每一集的开始处，初始状态s从参考运动集或初始定义动作集均匀采样，每个事件被模拟直到固定的时间范围或直到触发终止条件；一旦已经收集了一批数据，则从数据集中采样小批量并用于更新策略和值函数；使用TD计算的目标值、状态、回报函数更新值函数，从多组值函数中以α的概率选出四组critic-actor对中回报函数最大的那一组，以1-α的概率随机选择剩余三组中的随机一组，α通过不断训练进行调整。

5.如权利要求1所述的基于深度强化学习的AR增强现实大屏互动的动画仿真方法，其特征在于，在步骤三中，所述“自适应样式”是动画角色根据实际场景自动调整生成的，主要解决稀有情况下的决策，而“初始定义动作集”是根据采集的选手常用简单动作数据而提前设定的；通过初始定义动作集可以使动画角色拥有更好的学习基础，自适应样式可以使动画角色拥有更好的随机应变能力和鲁棒性，学习到许多稀有场景下的应对动作。

6.如权利要求1所述的基于深度强化学习的AR增强现实大屏互动的动画仿真方法，其特征在于，在步骤四中，所述PD控制器将根据AR增强现实中的动画角色的复杂程度定义三个分别为24、32和40的关节力矩来控制动画的运动。