[发明专利]一种复杂动作序列的三维人体分类与生成方法、系统

说明书

本发明公开了一种复杂动作序列的三维人体分类与生成方法、系统，应用于虚拟现实领域，包括：获取并对复杂动作视频进行预处理，构建数据集；对数据集进行关键点识别，得到人体关键点以及动作序列姿态信息，作为训练集；构建基于三维几何的复杂动作序列分类编码模型，并将其输入和输出合并为一个序列进行编码与解码训练，构建基于三维几何的复杂动作序列生成模型；将测试集输入模型，得到多种测试集动作类别的动作序列。本发明通过将标准三维几何序列编码为含有时间信息的几何参数，不仅增强了网络对不同动作类别在隐空间分布的学习，还实现了在复杂动作情况下，能够准确识别动作类型，生成合理的动作序列，提高了识别的准确率和动作的多样性。

技术领域

本发明涉及虚拟现实领域，特别涉及一种复杂动作序列的三维人体分类与生成方法、系统。

背景技术

在人体三维重建领域，人体运动预测是一项极具挑战性的任务。基于CAVE，将动作的语义标签作为先验条件，与动作序列一起放入网络训练中，根据标签生成无限多个三维人体动作序列，使这些序列看起来更真实。之前的许多工作都是基于运动序列，通过结构化预测，对人体骨骼的空间结构进行隐式建模，并将其应用于各个关节。现在大多数用于动作识别的深度学习方法都使用了浅层卷积网络。使用卷积神经网络，即可以使用随机梯度下降学习特征及分类减轻的端到端学习，并限制一些支持向量机和手工特征相关的方法。提取特征是通过直接卷积滤波器中的训练数据学习得到的，主要好处有：用非常简单便捷的端到端方式优化特征提取器和分类器参数，提取的特征针对特定的属性进行自适应的优化。多标签的卷积神经网络优于支持向量机，因为它们能够更加全面的学习属性之间的关系。

三维人体动作序列生成旨在，给定条件下，生成满足预期动作类型的三维人体。基于深度学习的方法一直以来主导着重识别领域。这些方法可以大致分为两类：第一类主要集中从三维信息中提取动作特征，以得处不同动作在隐空间的分布，通过不同的分布生成复杂多样的动作序列；第二类是通过风格迁移的方式，在给定动作数据的前提下，从形象中预测骨骼，并绑定权重，生成风格多样的人体单一动作。

现有的三维人体动作小数据集(NTU RGBD、HumanAct12、UESTC、BABEL)都是通过普通相机或者深度相机获得人体运动序列后，通过VIBE的处理得到人体关键点的信息以及体态，姿势等信息，最大的数据集也就几万张图片。面对不同场景拍摄角度，通过对特征变化进行学习得到摄像机视角转化函数模型的过程较为复杂。

目前三维动作生成的技术还处于发展阶段，现有的模型在动作类别多时，则生成的动作类型较为简单；或者只能生成单一动作的动作序列。在复杂的动作序列中，相关动作会有交集，更会进一步导致动作的准确率降低，生成相应的动作序列更加困难。

为此，如何提供一种能够在多复杂动作类型的情况下，还能准确识别分类以及生成对应动作的人体序列的复杂动作序列的三维人体分类与生成方法、系统是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提出了一种复杂动作序列的三维人体分类与生成方法、系统。通过采用VIBE对图片数据进行处理，得到每一帧图片中的人体关键点以及动作序列姿态信息，可以尽可能地减弱镜头扭曲对动作生成的影响；通过对标准三维几何序列采用两个线性全连接层，以及附带时间信息的长短记忆神经网络，得到含有时间信息的几何参数，再将其作为先验输入到基于三维几何的复杂动作序列生成模型中，可以增强网络对不同动作类别在隐空间分布的学习；并且对数据集中的复杂动作进行参数化处理，可以实现在复杂动作的情况下，依然能准确识别动作类型，生成合理的动作序列，提高了识别的准确率和动作的多样性。

为了实现上述目的，本发明采用如下技术方案：

一种复杂动作序列的三维人体分类与生成方法，包括：

步骤(1)：获取复杂动作视频，对复杂动作视频进行预处理，构建数据集。

步骤(2)：对数据集进行关键点识别，得到人体关键点以及动作序列姿态信息，作为训练集。