[发明专利]一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法

说明书

本发明公开了一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法，该方法包括以下步骤：使用Kinect设备获取人体的深度图像和骨骼图像；提取深度图像的运动特征F_D；统一骨骼节点的坐标系；计算骨骼图的运动节点；将运动节点通过计算转换为轨迹；提取底层骨骼特征F_B；对底层骨骼特征F_B进行变换得到骨骼特征F_S；深度特征F_D与骨骼特征F_S进行权重融合得到识别分类模型；根据模型判断当前行为是否为训练康复运动，进行相应的操作。本发明的有效效果：减少数据量、加快计算速度，对康复动作的检测正确率高。

技术领域

本申请涉及行为识别、计算机视觉等领域，尤其涉及功能性肢体康复训练检测的方法。

背景技术

功能性肢体问题的症状主要症状为运动不能、肌力下降。功能性肢体问题对患者的日常生活造成极大的不便，采取及时有效的肢体康复方法，可以部分甚至完全恢复患者的肢体功能。常用的康复方法包括运动疗法、作业疗法、物理疗法等。由于康复训练过程的时间漫长，动作的重复性高，且需要患者具有积极性，导致了只有极少数的患者能够完全完成康复训练，此外由他人进行训练的监督增加了他人和社会的负担，所以迫切需要自动检测康复训练的方法。

康复训练包括了一系列的动作，与行为识别领域具有很大的相似性。基于机器视觉的行为识别具有广泛的应用前景，例如视频的监控，危险行为的检测，人机的交互，视频的检索等。几十年来，学者对行为识别的研究热度从未消退。Kinect设备是微软推出的体感周边外设，可以获取RGB图像和深度信息。与RGB图像相比，深度图像基本不受自然光线影响，还提供具有三维信息的数据，也可以通过微软的SDK提取骨骼数据，准确描述有关关节的具体位置。

在视频图像中，人体行为包含了大量的冗余数据，如果将冗余数据和行为特征一同计算，首先需要大的计算能力，此外冗余数据还会对识别的精度造成一定的影响。

发明内容

本发明针对以上问题，提出一种基于深度图像与骨骼图像多特征融合的功能性肢体康复训练检测的方法，该方法从骨骼数据中提取运动节点，增强了行为的可辨别性并提高计算速度，并将深度特征与骨骼特征结合，减少了行为的歧义性。

为了实现上述技术目的，达到上述的技术效果，本发明专利包括以下步骤：

使用Kinect设备获取人体的深度图像和骨骼图像；提取深度图像的运动特征F_D；统一骨骼节点的坐标系；计算骨骼图的运动节点；将运动节点通过计算转换为轨迹；提取底层骨骼特征F_B；对底层骨骼特征F_B进行变换得到骨骼特征F_S；深度特征F_D与骨骼特征F_S进行权重融合得到识别分类模型；根据模型判断当前行为是否为训练康复运动，进行相应的操作。

图1是本发明方法的流程图，下面结合流程图对本发明所提出的方法做进一步说明。

所述使用Kinect设备获取人体的深度图像和骨骼图像，就是将Kinect设备与装有Windows操作系统的台式机连接在一起，实时获取数据；

所述提取深度图像的运动特征F_D，就是使用DMM描述行为的3D结构和形状信息，即将具有时间信息的深度图投影到笛卡尔积平面上。若一个深度图序列具有N帧，则DMM_v特征计算公式：

其中表示第i帧深度图在v方向上的投影图；对投影图进行GLAC处理，对深度图序列进行STACOG处理，计算梯度空间和方向自相关性，得到深度特征F_D1和F_D2，用梯度大小n和方向θ稀疏表示。如图2，每个点r被编码为B＝8个方向角，其梯度角度θ与邻近的方向角的权重构成梯度方向向量f，计算梯度在邻域内的特征：