[发明专利]一种基于深度关节与手工表观特征融合的动作识别方法

说明书

本发明公开了基于深度关节与手工表观特征融合的动作识别方法，首先将关节空域位置及约束输入至具有时空注意力机制的LSTM网络，以获取时空加权且高可分的深度关节特征；而后引入热图以定位表观序列关键帧及关节，可作为深度关节特征有效补充的关键关节周围表观特征；最后基于双流网络融合手工提取表观特征及LSTM网络所获取深度骨骼特征从而实现相似动作有效判别进而提升动作识别能力。针对视角变化、噪声、主体多样化等复杂场景下所提算法可有效区分相似动作从而提升动作识别精度。

技术领域

本发明涉及机器视觉领域中的动作识别方法，具体涉及一种基于深度关节与手工表观特征融合的动作识别方法。

背景技术

作为计算机视觉领域的研究热点，人体动作识别在智能监控、人机交互、自动驾驶、医疗保障等行业发挥重要作用。其中主要面临以下几个技术难点：由于光照、尺度、背景变化等因素影响，使得此类识别性能较差。深度图所含信息冗余度较大因而计算复杂度较高，从而限制了此类算法的实际应用。基于三维骨架实时捕捉系统获得的低冗余度且高可分关节信息及环境强鲁棒性可显著提升动作识别性能，然而利用3D骨架关节坐标分析运动模式忽略了关节间空域关系从而导致识别精度有限；基于相对距离及角度编码关节以改善识别精度，然其仅依赖手工特征因而识别结果难以令人满意；基于CNN优良的空域特征提取能将骨骼序列编码为伪图像抽取其深度特征以提升动作识别精度，然而所得编码图像缺失序列时域信息，因而识别精度提升有限；基于RNN良好的时间建模以较高精度识别动作，然而RNN所固有的梯度弥散缺陷使其难以学习较长历史信息；基于LSTM重构RNN时序信息传递结构从而获得优异的长时依赖关系刻画能力进而可有效应用于动作识别，然而，基于深度网络的识别方法逐帧处理各幅图像，缺乏对关键图像及部位的挖掘，而动作序列通常存在较大信息冗余，从而使相关方法实时性较差且所获取高可分信息匮乏进而导致识别精度提升有限。基于空时注意力机制的LSTM模型赋予关节相应权重以增强关键图像及部位影响，从而提升动作识别精度，但是，该方法仅考虑关节坐标而忽略关节间空域拓扑信息，因而识别精度改善有限。此外，上述基于3D骨骼的相关算法仅考虑骨骼深度信息，而忽略了相当程度上亦可有效表达动作的人体外观特征。

发明内容

针对现有技术存在上述问题，本发明提出了一种基于骨骼关节及表观特征融合的双流网络动作识别方法，其能实现复杂场景下人体动作有效识别。

为实现上述目的，本申请的技术方案为：一种基于深度关节与手工表观特征融合的动作识别方法，包括：

基于人体特有关节空域关系构建关节空间约束，所述关节空间约束包括关节相对距离约束和高相关度关节对约束；

构建具有空间和时间注意力机制的LSTM网络以得到关节特征；

通过热图定位重要关节并抽取附近外观特征；

将关节特征、外观特征融合后给出动作识别结果。

进一步的，基于人体特有关节空域关系构建关节空间约束，具体为：

所有关节坐标表示为X_t＝(X_t,1,...,X_t,K)，其中X_t，k＝(x_t,k,y_t,k,z_t,k)表示第t(t＝1,2,...,T)帧内关节k坐标，且具有K个关节点的人体骨骼结构；

构造关节相对距离约束，取髋关节X_t,1＝(x₁,y₁,z₁)坐标为中心，髋关节与其它关节之间欧式距离表示如下：

其中，j＝2,3,...,K。

对d_{t,j_1}进行归一化得到如下相对距离：