[发明专利]用于基于神经网络的动作检测的方法和设备

说明书

本公开的各种实现涉及基于神经网络的动作检测。提出了一种使用神经网络的动作检测方案。该动作检测方案可以基于不同帧各自的重要性来设计和优化神经网络模型，使得较高的权重倾向于被分配给对动作识别而言重要性较高或判别性较高的帧，较低的权重倾向于被分配给对动作识别而言重要性较低或判别性较低的帧。

背景技术

检测诸如人类、机器人、动物或者其他移动对象等各种实体的动作或者活动，在很多领域具有重要的应用价值。这样的领域包括但不限于监控、卫生保健、人机交互、智能机器人导航、计算机游戏，等等。动作检测通常依赖于被称为“动作分类器”的训练模型。这样的模型可以利用与一个或多个移动的动作有关的视频来训练。一旦被训练，该模型可以被用于处理输入视频以便确定是否发生特定的动作。尽管付出了很大努力，但是基于模型的实体动作检测仍然是一项富有挑战的任务。期望进一步提升动作识别的性能以将其投入各种应用中。具体地，在快速有效识别关键特征，提升动作识别的精度以及减少模型训练的复杂度等方面存在改进的空间和需求。

发明内容

根据本公开的实现，提出了一种使用神经网络的动作检测方案。该动作检测方案基于视频或视频片段中的不同的帧对分类结果的判别性具有不同的影响。由此，可以考虑视频或视频片段的不同帧的不同的重要性(也称“注意力”)，使得神经网络模型倾向于分配较高的权重给对动作识别而言重要性较高或判别性较高的帧，分配较低的权重给对动作识别而言重要性较低或判别性较低的帧。相似地，一个视频帧中，不同区域(例如，在骨架表示中也可以称为“关节点”)有不同的重要性，使得神经网络模型倾向于分配较高的权重给对动作识别而言重要性较高或判别性较高的区域，分配较低的权重给对动作识别而言重要性较低或判别性较低的区域。

提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

图1示出了根据本公开的一个实现的示例场景；

图2示出了能够在其中实施本公开的实现的环境的框图；

图3a示出了根据本公开的一个实现的示例递归神经网络(RNN)神经元的结构的框图；

图3b示出了根据本公开的一个实现的示例长短时记忆(LSTM)神经元的结构的框图；

图4示出了根据本公开的一个实现的学习网络的结构的框图；

图5示出了根据本公开的一个实现的模型的示意图；

图6示出了根据本公开的一个实现的动作检测的方法的流程图；

图7示出了根据本公开的另一实现的动作检测的方法的流程图；

图8示出了根据本公开的一个实现的时间注意力权重的曲线图；

图9示出了图8的实现的差分时间注意力权重的曲线图；

图10示出了根据本公开的多个实现的性能比较图；以及

图11示出了其中可以实施本公开的一个或多个实现的示例计算系统/服务器的框图。

具体实施方式

现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本主题的范围的任何限制。

如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“或者”要被解读为“和/或”，除非上下文明确另外指示。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。除非另外地明确指出，术语的定义贯穿说明书是一致的。