[发明专利]一种融合时空约束的光学动作捕捉标记点实时补全方法

说明书

本发明提供一种融合时空约束的光学动作捕捉标记点实时补全方法，旨在基于人体运动的时空约束，采用权重位置损失函数描述人体不同关节节点对整体位姿的影响，用标记点间距损失函数描述同一段骨骼上标记点之间的刚性结构，用于出前后帧损失函数描述标记点运动轨迹的时间连续性，并将以上损失函数加权组合用于训练深度学习网络，解决“光学动作捕捉系统丢失标记点实时补全”问题，本发明补全后的标记点位置更符合人体运动规律，提高了标记点补全的精度。

技术领域

本发明属于光学动作捕捉技术领域，具体涉及一种融合时空约束的光学动作捕捉标记点实时补全方法。

背景技术

基于标记点的光学动作捕捉是运动获取、分析和映射等过程中的一项关键技术,该技术由空间中的相机等设备采集标记点图像坐标并重建各标记点的空间位置,再根据标记点云的三维位置坐标计算人体各骨骼当前时刻的位置和朝向.空间环境和人体自身动作很容易遮挡标记点,由此造成的标记点丢失可能会导致由标记点重建位姿失败.如何在标记点丢失时对其进行补全是基于标记点的光学动作捕捉技术亟待解决的问题。

基于深度学习的方法精度高，实时性好，但现有方法在训练过程中通常使用标记点位置真实值与预测值的欧式距离作为损失函数，没有全面考虑人体运动的时空约束，有些补全后的标记点会形成不合理的姿态，鲁棒性不足。

文献“Kucherenko T,Beskow J,H.A neural network approach tomissing marker reconstruction in human motion capture[OL]，[2018-09-25]”将连续64帧有丢失的归一化标记点位置坐标输入双层LSTM(长短期记忆)网络中，输出补全后的标记点序列。其中，损失函数为标记点预测值与真实值的欧式距离。该技术方案鲁棒性不足，补全后的标记点可能会形成扭曲的人体位姿，且标记点轨迹抖动严重。

发明内容

有鉴于此，本发明的目的是提供一种融合时空约束的光学动作捕捉标记点实时补全方法，可以使得补齐后标记点位置更符合人体运动规律，提高了标记点补全的精度。

一种融合时空约束的光学动作捕捉标记点实时补全方法，包括如下步骤：

步骤1、获取训练数据，具体为：

获取已有的各标记点连续多帧的在光学坐标系中三维位置坐标作为原始输入数据；

将原始输入数据从光学坐标系转换至根节点坐标系；根节点坐标系以腰部的标记点的几何中心为原点；

将原始输入数据中标记点位置坐标随机置零来模拟标记点丢失，得到训练数据；

步骤2、网络训练，具体为：

将步骤1的训练数据输入到能处理时间序列的网络结构中，对网络进行训练，其中训练时采用下式所示的融合时空约束的组合损失函数进行网络模型训练：

L＝L_wp+w_mdL_md+w_fdL_fd

L＝Lwp+wmdLmd+wfdLfd

其中,L_wp为权重位置损失：

w_max为人体关节链的根节点和末端子节点上的标记点权重，w_middle为位于其他关节点处的标记点权重，w_min为其余不在关节上的标记点权重；三者大小关系为：w_max＞w_middle＞w_min；