[发明专利]用于基于神经网络的动作检测的方法和设备

权利要求书

1.一种用于动作检测的设备，包括：

处理单元；

存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行以下动作：

获取视频的多个帧的表示信息和针对所述视频的预定义动作标签，所述表示信息表示所述多个帧中的实体并且所述预定义动作标签与所述实体的动作相关联；以及

基于所述多个帧的所述表示信息和所述预定义动作标签来更新学习网络，所述学习网络包括第一子网络和第二子网络，所述第一子网络和所述第二子网络中的每一个包括递归神经网络单元，

更新所述学习网络包括：

使所述第一子网络基于所述表示信息确定所述多个帧的重要性；

使所述第二子网络基于所述表示信息确定所述多个帧中的多个预定部分或多个预定关注点的重要性；以及

使所述学习网络基于所述表示信息和所述多个帧的重要性确定所述视频与预定义动作标签相关联的概率。

2.根据权利要求1所述的设备，其中所述动作还包括：

使所述第一子网络接收针对所述多个帧中的第一帧和在所述第一帧之前的第二帧的所述表示信息，并且基于非线性函数确定所述第一帧的重要性。

3.根据权利要求1所述的设备，其中所述动作还包括：

使所述第二子网络接收针对所述多个帧中的第一帧和在所述第一帧之前的第二帧的所述表示信息，并且基于非线性函数确定所述第一帧中的所述多个预定部分或所述多个预定关注点的重要性。

4.根据权利要求1所述的设备，其中更新所述学习网络包括：

基于由所述学习网络输出的动作标签的概率和由所述第一子网络确定的重要性，更新所述学习网络使得目标量最小化，所述目标量限制由所述第一子网络所确定的重要性的值的增加。

5.根据权利要求1所述的设备，其中更新所述学习网络包括：

基于由所述学习网络输出的动作标签的概率和由所述第二子网络确定的重要性，更新所述学习网络使得目标量最小化，所述目标量促使由所述第二子网络所确定的重要性平均分布于所述多个帧中的所述多个部分或所述多个关注点。

6.根据权利要求1所述的设备，其中所述学习网络包括主网络，所述主网络的输入与所述第二子网络的输出耦合，所述主网络的输出与所述第一子网络的输出耦合，并且更新所述学习网络包括：

在固定所述第一子网络和所述第二子网络中的第一类型子网络的参数的情况下，更新所述第一子网络和所述第二子网络中的第二类型子网络的参数和所述主网络的参数，所述第一类型不同于所述第二类型；

在固定所述第一子网络和所述第二子网络中的所述第二类型子网络的参数的情况下，更新所述第一子网络和所述第二子网络中的所述第一类型子网络的参数和所述主网络的参数；

在固定所述第一子网络和所述第二子网络的参数的情况下，更新所述主网络的参数；以及

联合更新所述学习网络的参数。

7.根据权利要求6所述的设备，其中更新所述第一子网络和所述第二子网络中的第二类型子网络的参数和所述主网络的参数包括：

在固定所述第一子网络和所述第二子网络中的第一类型子网络的参数的情况下，更新所述第二类型子网络的参数和简化的所述主网络的参数；

在固定经更新的所述第二类型子网络的参数的情况下，更新所述主网络的参数；以及

联合更新所述第二类型子网络和所述主网络的参数。

8.根据权利要求1所述的设备，其中所述学习网络包括长短时记忆(LSTM)单元。

9.根据权利要求1所述的设备，其中所述动作包括：

使所述第二子网络基于所述多个帧的与所述实体相关联的骨架表示确定所述多个帧中的多个预定关节点的重要性。