[发明专利]一种语义驱动武术动作合成方法

说明书

本发明公开了一种语义驱动武术动作合成方法，包括：获取武术提示文本；利用可变时长动作合成扩散模型基于武术提示文本进行武术动作片段合成，包括：利用文本语义预处理网络依据武术提示文本预测文本条件特征和动作时长，依据文本条件特征、动作时长经过逆扩散迭代生成最后噪声尺度对应的噪声动作片段作为合成的武术动作片段；其中，在每个单步逆扩散中，以文本条件特征、动作时长、当前噪声尺度以及上一噪声尺度得到的噪声动作片段作为输入数据，采用单步逆扩散网络依据输入数据生成粗糙清洁动作片段，并依据粗糙清洁动作片段进行正向扩散得到当前噪声尺度对应的噪声动作片段。该方法通过语义驱动可实现复杂内容、可变时长、复合技能的动作合成与编排。

技术领域

本发明属于自然语言与视觉生成相结合的技术领域，具体涉及一种语义驱动武术动作合成方法。

背景技术

三维人体动作合成任务旨在使用计算机合成自然的三维人体动画，通常用以驱动虚拟角色或是机器人。该任务是计算机动画领域的一项基本任务，也是一项极具挑战性的任务。语义驱动的三维动作合成旨在通过输入文本提示，算法能自动提取其中的自然语言语义信息，并指导三维动作合成过程，实现跨模态动作语义匹配和动作合成。该方法既不需要像手工方法一样耗费大量人力与时间，也不需要像物理方法一样设计复杂的常微分方程，更不需要像视觉方法一样强依赖于相机采集的图像或视频数据，只需输入自由文本就能便捷地进行多样化动作内容的合成。因此，不难预见该技术在未来会极大地降低动作数据的制作门槛并提升相关行业的生产力，在虚拟现实、影视游戏、机器人动作规划等领域都有着广泛的应用前景。

尽管目前语义驱动的动作合成任务受到了越来越多研究者的关注，现有的研究工作通常存在以下3点局限性：

1)复杂动作-武术提示文本数据集匮乏：目前领域内可用的动作-武术提示文本数据集仅有3个，并且所有这些数据集都包含大量的行走、挥手、跳跃等简单日常行为动作，因此模型基本只能学习合成类似的简单动作，而对于复杂专业的动作样本合成质量不佳。

2)合成结果动作时长固定：许多语义驱动的动作合成方法往往只关注空间姿态的合成质量，而忽略了动作时长的语义驱动估计，这意味着通常需要手动固定动作时长用于推理，导致动作在时间维度上缺乏多样性。

3)合成结果动作技能单一：现有方法通常在只包含单个动作技能的样本集上进行训练，因此对于包含复合动作技能的时序动作编排序列则难以合成，并且领域内对该问题的关注程度不足。

因此，迫切需要能在发挥现有语义驱动的动作合成技术便捷优势的同时，解决上述领域内存在的局限性。目前语义驱动的动作合成技术仍处于起步阶段，囿于复杂动作-武术提示文本数据集的匮乏，现有方法的合成结果通常存在动作内容简单、动作时长固定、动作技能单一的问题。

武术动作是一类复杂专业动作技能的集合，并且其在影视动画、电子游戏等领域有着广泛的应用需求。然而，由于武术动作的建模通常需要动画师具备额外的专业知识或是邀请武术从业者进行动作捕捉，因此相比于行走、挥手、跳跃等简单动作，高质量武术动作数据的获取成本显然更加昂贵。并且，武术动作通常缺少细粒度的长文本来描述某一套武术招式，这对于构建匹配的文本注释数据集来说也是一个挑战，所以目前完全没有针对武术动作所构建的动作-武术提示文本数据集。

发明内容

鉴于上述，本发明的目的是提供一种语义驱动武术动作合成方法，通过语义驱动可实现复杂内容、可变时长、复合技能的动作合成与编排。

为实现上述发明目的，实施例提供的一种语义驱动武术动作合成方法，包括以下步骤：

获取待合成武术动作片段对应的武术提示文本；

利用可变时长动作合成扩散模型基于武术提示文本进行武术动作片段合成，包括：利用文本语义预处理网络依据武术提示文本预测文本条件特征和动作时长，依据文本条件特征、动作时长经过逆扩散迭代生成最后噪声尺度对应的噪声动作片段作为合成的武术动作片段；