[发明专利]多模态舞蹈动作评价方法

权利要求书

1.一种多模态舞蹈动作评价方法，其特征在于包括如下步骤：

根据声音、彩色摄像头以及深度摄像头对舞者舞蹈动作进行采集，首先对采集到的舞者进行身份识别，之后根据彩色图像及深度图像映射对舞者的关节点进行标记，并通过深度图像将关节点坐标保存下来；

根据预先设定的音乐关键点对舞蹈动作进行分割，在预设移动窗内将分割的动作与标准模板动作对比，匹配最佳对应动作；

标准模板包含舞蹈的动作、速度、加速度、熟练度以及运动轨迹信息，测试舞蹈经过评分系统处理，得到舞者每个模块的评价分数；通过粒子群迭代训练得到专家的评价权重，根据训练好的各模块以及每个动作的权重向量，结合当前每个模块的评价分数，最后得到该舞者的总体评价；

采用粒子群算法优化评分权重，优化权重分为两个部分：第一部分：动作权重；第二部分：评分模块权重，归一化得分如式(11)所示；

根据人体关节点的结构不同，将关节点分为5个部分，第一部分：躯干，包括肩部关节，脊柱关节，髋关节和臀关节；第二部分，肘部关节，包括左手肘关节和右手肘关节；第三部分，膝盖关节，包括左膝盖关节和右膝盖关节；第四部分，头部关节和颈部关节；第五部分，手部脚部关节，包括手腕关节，脚腕关节和手指关节；权重分别定义为w_t,w_e,w_k,w_h,w_f；

评分模块分为：动作模块，速度模块，加速度模块，熟练度模块以及运动轨迹模块，权重定义为w_pos,w_vel,w_acc,w_cur,w_shp，模块归一化评分如式(12)所示；

其中代表身体关节点权重，S(w^pos)是权重归一化，S_1,j代表第j模块加权评分：

其中代表模块评分权重，T_i代表第j个关节点的基础模块评分；

利用粒子群寻优算法，通过数据集训练和迭代对权重值进行优化，最后得到最优权重，适应度函数如式(13)所示；

其中C_j，C'_j分别表示未加权实际评分与模板专家评分，w_j表示粒子j的当前权值向量；之后粒子进行迭代，当迭代到最大迭代次数或者是误差足够小时，迭代结束，当前位置对应的向量为最优权值向量；最后通过权值向量对测试的数据进行评分，得到舞者的最后得分。

2.如权利要求1所述的多模态舞蹈动作评价方法，其特征在于：对原始数据进行预处理时采用实时Holt双参数线性平滑；后台评分为阶段评分，采用卡尔曼滤波。

3.如权利要求2所述的多模态舞蹈动作评价方法，其特征在于：所述Holt双参数线性平滑包括如下步骤：

Holt双参线性指数平滑：

其中α、γ为平滑参数，x_t为实际观测值；T′为预测时间数，S_t为t时刻修正平滑值，b_t为t时刻趋势值，F_t+T′表示T′时刻之后的预测增益。

4.如权利要求1所述的多模态舞蹈动作评价方法，其特征在于：

采用马氏距离相似度法进行匹配：

其中，表示两个匹配动作向量，表示两个向量的距离，∑-1是协方差矩阵；

采用FastDTW方法，约束条件为：

其中，g(i,j)表示第i，j时间点的两个动作的累加距离即动态规划，d(i,j)表示x_i和y_j之间的距离。