[发明专利]一种基于肢体层次结构的动作识别方法

说明书

一种基于肢体层次结构的动作识别方法，包括以下步骤：1)将人体骨架分为三层，人体骨架分解成肢体，并使用RRV描述符描述了每个肢体；2)将肢体假设为刚体，然后逐层顺序地将所有肢体的RRV描述符进行连接，构建一个单向量作为人体动作的HRRV描述符；3)使用FV编码技术对HRRV描述符的统计特性进行编码，形成分层模型的动作表示；4)构建分层肢体学习框架，实现同一尺度下显著性肢体的挖掘和不同尺度下的特征融合，在处理复杂环境下人体动作识别任务中实现了较好的效果。本发明在仅使用人体骨架的单个特征模态时，就可实现卓越的性能；有效地降低了计算复杂度，并且对于多个关节上的遮挡和干扰具有一定的鲁棒性。

技术领域

本发明涉及到计算机视觉中动作识别任务，具体地涉及一种基于肢体层次结构的动作识别方法。

背景技术

人体动作识别一直是计算机视觉，模式识别和机器人技术等各个领域活跃的研究领域。尽管在基于RGB视频的传统动作识别领域已有了较多的研究成果，但3D视觉信息(例如深度图和人体骨架)可以提供获取更好的人体动作特征，并且对光照变化和杂乱的背景具有更好的鲁棒性。然而，现有基于3D视觉信息的方法多使用单个3D视觉模态。在涉及视点变化、遮挡和噪声的情况下，这种基于单个3D视觉模态的动作识别系统无法获取较高的识别性能。虽然，一些现有方法可以通过融合异构多模态视觉数据(RGB视频，深度图视频，人体骨架序列)来克服上述局限性，但融合多模态特征会带来较高的的计算成本。

根据使用的视觉特征，从3D视觉信息中识别现有动作的方法可以分为两类：基于深度图的方法和基于骨架的方法。在基于深度图的方法类别中，通常从深度图中提取动作特征，例如深度HoG、深度STIP和超法向矢量描述。虽然这些方法可以取得较好的识别性能，但与基于骨架的方法相比，它们对人体位置和外观的变化不具有鲁棒性。基于骨架的方法通常是是从组成人体骨架的3D关节位置提取时空几何特征。例如，一些方法通过计算当前帧的骨架的关节成对距离、当前帧的骨架与先前帧骨架之间的关节距离以及当前帧的骨架与特定参考骨架之间的关节距离。进一步，通过组合上述三种距离来表示人体姿势特征。

为了获得更丰富的视觉特征，一些方法将基于骨架的特征和基于深度图的特征融合在一起，以形成更加丰富的人体动作特征表示。例如将关节的成对位置和深度LOP描述组合一起形成一种有效的动作特征表示。还有通过多核学习MKL 框架同时地挖掘不同模态特征之间的共享特征分量与各个模态特征内在的特定分量，其中多模态特征分别是从人体骨架关节，深度图和RGB序列中提取的异构特征。但是，这些基于多模态特征的融合方法带来了较高的计算成本，不利于动作识别的实时性要求。

近年来，很多基于深度学习模型(例如3D CNN和时空LSTM)的方法取得了较高的动作识别准确性。然而，基于深度学习模型的动作识别方法具有一定的局限性。首先，深度模型具有大量的参数，在较小规模的动作识别数据上易于过拟合。其次，大多数用于动作识别的深度学习模型都具有复杂的拓扑结构设计，因此模型并不容易训练。而且，这些深度模型同样不能很好地推广到具有较小规模的动作数据场景。

发明内容

为了解决上述动作识别的技术问题，本发明提出了一种基于肢体层次结构的动作识别方法，该方法将人体动作视为在人体骨架的多个肢体上的一组并发运动，其中肢体被定义为人体骨架的相邻关节之间的连接部件。基于此，将人体骨架分解为不同尺度的肢体，其中在更小尺度上，人体骨架可被分解为更多的运动肢体。为了表示肢体的这种层次结构，该方法相应的构建了分层旋转和相对速度(HRRV) 描述符，并提出一种分层肢体学习框架，以实现同一尺度下显著性肢体的挖掘和不同尺度下的特征融合，在处理复杂环境下人体动作识别任务中实现了较好的效果。

本发明解决其技术问题所采用的技术方案是：

一种基于肢体层次结构的动作识别方法，所述方法包括以下步骤：

1)建立肢体的层次结构：

将人体骨架分为三层，人体骨架分解成肢体，并使用RRV描述符描述了每个肢体；