[发明专利]一种融合时空约束的光学动作捕捉标记点实时补全方法

权利要求书

1.一种融合时空约束的光学动作捕捉标记点实时补全方法，其特征在于，包括如下步骤：

步骤1、获取训练数据，具体为：

获取已有的各标记点连续多帧的在光学坐标系中三维位置坐标作为原始输入数据；

将原始输入数据从光学坐标系转换至根节点坐标系；根节点坐标系以腰部的标记点的几何中心为原点；

将原始输入数据中标记点位置坐标随机置零来模拟标记点丢失，得到训练数据；

步骤2、网络训练，具体为：

将步骤1的训练数据输入到能处理时间序列的网络结构中，对网络进行训练，其中训练时采用下式所示的融合时空约束的组合损失函数进行网络模型训练：

L＝L_wp+w_mdL_md+w_fdL_fd

其中,L_wp为权重位置损失：

w_max为人体关节链的根节点和末端子节点上的标记点权重，w_middle为位于其他关节点处的标记点权重，w_min为其余不在关节上的标记点权重；三者大小关系为：w_max＞w_middle＞w_min；

为人体关节链的根节点和末端子节点标记点中标记点的预测位置,为标记点对应的真实位置；表示人体关节链上除根节点和末端子节点上标记点的预测位置,为对应的真实位置；为除人体关节链上的其他标记点的预测位置，为对应的真实位置；

L_md为标记点间距损失：

其中,h,g为间距保持不变的两个标记点索引,D_hg为标记点h,g的真实距离；

L_fd为前后帧损失：

其中，表示第l个标记点在t时刻的预测值，表示第l个标记点在t-1时刻的预测值；

步骤3、对于实时获取的需要补点的一段动作序列，将各标记点的坐标转换到根节点坐标系，再输入到步骤2训练好的网络模型中，得到位置坐标补齐后的动作序列。

2.如权利要求1所述的一种融合时空约束的光学动作捕捉标记点实时补全方法，其特征在于，所述步骤1中根节点坐标系的建立过程为：

记根节点坐标系的三个坐标轴x，y，z的归一化向量分别为r_x,r_y,r_z,用最优化方法取距离腰部上所有标记点最近的直线和平面,则直线的方向向量和平面的法向量的初始值分别定义为r_x,和r_y,,则z轴归一化向量表示为：

r_z＝r_x,×r_y, (1)

令r_x,与坐标轴z的归一化向量r_x一致，即r_x＝r_x,,则：r_y＝r_z×r_x；

由此建立根节点坐标系。

3.如权利要求1所述的一种融合时空约束的光学动作捕捉标记点实时补全方法，其特征在于，所述步骤1中标记点位置坐标随机置零的方法为：

将原始输入数据中各标记点的位置矩阵表示为P_raw∈R^f×N,其中位置矩阵的行数为该段序列的帧数f,列数与标记点数量N一致，每个元素存储的为各标记点的根节点坐标系的坐标；

随机置零的过程为：首先生成与位置矩阵大小一致的随机数矩阵A，其中的每个元素a_ij∈[0,1],设定丢失率为α,若a_ij(1-α),则a_ij＝1,反之a_ij＝0,则得到新的矩阵A_p,则随机置零后的训练数据矩阵为：

P_miss＝A_p·P_raw。

4.如权利要求1所述的一种融合时空约束的光学动作捕捉标记点实时补全方法，其特征在于，所述步骤2的网络结构为BiLSTM网络或者LSTM网络。