[发明专利]一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法

权利要求书

1.一种基于深度图像与骨骼数据的多特征融合的功能性肢体康复训练检测方法，其特征在于，包括以下步骤：

(1)使用Kinect设备获取人体的深度图像和骨骼图像；

(2)提取深度图像的运动特征F_D；

(3)统一骨骼节点的坐标系；

(4)计算骨骼图的运动节点；

(5)将运动节点通过计算转换为轨迹；

(6)提取底层骨骼特征F_B；

(7)对底层骨骼特征F_B进行变换得到骨骼特征F_S；

(8)深度特征F_D与骨骼特征F_S进行权重融合得到识别分类模型；

(9)根据模型判断当前行为是否为训练康复运动，进行相应的操作；

所述提取深度图像的运动特征F_D，就是使用DMM描述行为的3D结构和形状信息，即将具有时间信息的深度图投影到笛卡尔积平面上；若一个深度图序列具有N帧，则DMM_v特征计算公式：

其中表示第i帧深度图在v方向上的投影图；对投影图进行GLAC处理，对深度图序列进行STACOG处理，计算梯度空间和方向自相关性，得到深度特征F_D＝{F_D1，F_D2}，用梯度大小n和梯度角度θ稀疏表示；每个点r被编码为B＝8个方向角，其梯度角度θ与邻近的方向角的权重构成梯度方向向量f，计算梯度在邻域内的特征：

0阶特征：

1阶特征：

其中a₁是邻近点到r的位移矢量，取a₁∈±Δr，0，f_d是向量f的第d个元素；进行ROI操作使得相同视角图像大小相同，得到深度特征F_D＝{F_D1，F_D2}；

所述统一骨骼节点的坐标系，即以脊柱点为原点统一新的坐标系；

计算骨骼图的运动节点，就是运用骨骼节点到原点的方差来定义各部分肢体的活跃程度，方差越大说明该节点变化越剧烈，当方差大于平均值时，认为该点就是运动节点；

将运动节点通过计算转换为轨迹，就是将方差最大的节点运动转换为轨迹，用轨迹特征来表述行为的骨骼特征；

提取底层骨骼特征F_B，就是运动节点和轨迹中提取帧间距离D、外接立方体轮廓比O和帧间角度差A作为底层骨骼特征F_B；

对底层骨骼特征F_B进行变换得到骨骼特征F_S，就是通过归一化克服不同人体问的差异，然后对底层骨骼特征F_B进行高斯混合模型的Fisher Vector处理，大小变为2pK×1，K在高斯混合模型中取128，p是F_B的行数，得到骨骼特征F_S；深度特征与骨骼特征进行权重融合得到识别分类模型，就是将骨骼特征F_S和深度特征F_D1，F_D2输入到分类器中，分配不同权重μ₁，μ₂，(1-μ₁-μ₂)，通过对数函数估计全局隶属度，计算公式：

logP(l_c|F)＝

μ₁p₁(l_c|F_S)+μ₂p₂(l_c|F_D1)+(1-μ₁-μ₂)p₃(l_c|F_D2)

隶属度最大时即得到最终标签l^*，计算公式：

其中，p₁(l_c|F_S)、p₂(l_c|F_D1)与p₃(l_c|F_D2)是F_S，F_D1，F_D2通过Sigmoid函数计算得到的后验概率，

所述根据模型判断当前行为是否为训练康复运动，进行相应的操作，就是将当前行为用得到的识别模型进行判断，得到最终的结果；

提取底层骨骼特征，具体为：

(1)帧间距离

在行为运动中，运动节点的距离变化最明显，以求得的轨迹为标准，将轨迹上每个节点的大小称为帧间距离；

P∈R³表示在空间坐标系下的关节点坐标，计算公式：

(2)外接立方体轮廓比

行为不同形成的外接立方体是有差别的，计算运动节点构造的轮廓比，第i帧骨骼数据的轮廓比计算公式

其中，xⁱ表示第i帧运动节点在笛卡尔坐标系中x轴上的值，人体第i帧外接立方体轮廓比特征Oⁱ计算公式：

Oⁱ＝[LWⁱ，HWⁱ，LHⁱ]^T

(3)帧间角度差

由所求轨迹获得，即求运动节点相邻两帧之间的角度差，而不通过节点之间的角度差，可以避免其他相对静止节点的干扰，计算公式：

其中，Pⁱ关节点第i帧的坐标值；

底层骨骼特征F_B由3类特征构成，如式：

2.根据权利要求1所述的基于深度图像与骨骼数据的多特征融合的功能性肢体康复训练检测方法深，其特征在于，对底层骨骼特征F_B进行变换得到骨骼特征F_S，具体为：

对F_B进行高斯混合模型的Fisher Vector处理，大小变为2pK×1，K在高斯混合模型中取128，p是F_B的行数；

构建过程伪代码如下：

输入：M张图像的底层骨骼特征

输出：归一化后的fisher vector：

(1)初始化：平均值μ_k为随机数，方差σ_k为单位矩阵E，概率w_k＝1/K

(2)计算混合高斯模型GMM参数λ＝{w_k,μ_k,σ_k,k＝1,…,K}

for|p(F_B|Φ)-p(F_B|Φ)′|ε

概率

平均值:

方差:

权值:

end

(3)计算统计量

for k←1 to K

end

for j←1 to M

计算特征由第k个高斯分布生成的概率γ_j(k)

for k←1 to K

end

计算fisher vector，通过求关于GMM参数偏导获得

for k←1 to K

end

取fisher vector：

向量归一化