[发明专利]数据处理、动作驱动与人机交互方法及设备

说明书

本申请实施例提供一种数据处理、动作驱动与人机交互方法及设备。其中，方法包括如下的步骤：从第一音频序列中第一音频帧处，截取第一音频序列片段；根据所述第一音频序列片段，在第一数据集中搜索得到与之相似的至少一个候选音频序列片段；根据分别与所述至少一个候选音频序列片段匹配的至少一个候选动作序列片段，生成与所述第一音频帧匹配的第一动作状态信息。本申请实施例提供的技术方案有效避免了复杂的训练样本标注工作，降低了动作生成成本；并且，能够在生成动作品质上具有一定的可控性，进而提高动作与音频的协同性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理、动作驱动与人机交互方法及设备。

背景技术

目前，以骨骼点为基础驱动二维或三维动画(例如：虚拟主播、动画电影中的动画人物、虚拟现实中的动画人物等)是主流的动画渲染技术。一般骨骼外层会包覆一层蒙皮，蒙皮即一般动画可视的动画外表，通过骨骼点驱动以及渲染技术，蒙皮可以作出各式各样的动作，不需要对不同动画逐帧进行绘制。

现有技术中，通常会通过训练一个机器学习模型来生成脸部骨骼点序列，然后再根据动作骨骼点序列来驱动动画的脸部动作。然而，这种方式依赖于大量的人工标注样本来训练该模型，成本高昂；并且透过学习的方式，生成的脸部骨骼点序列的品质也不固定，进而导致音频与动作不协同。

发明内容

鉴于上述问题，提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的数据处理、动作驱动与人机交互方法及设备。

于是，在本申请的一个实施例中，提供了一种数据处理方法。该方法包括：

从第一音频序列中第一音频帧处，截取第一音频序列片段；

根据所述第一音频序列片段，在第一数据集中搜索得到与之相似的至少一个候选音频序列片段；其中，所述第一数据集中包括多个储备音频序列；

根据分别与所述至少一个候选音频序列片段匹配的至少一个候选动作序列片段，生成与所述第一音频帧匹配的第一动作状态信息。

在本申请的另一实施例中，提供了一种动作驱动方法。该方法，包括：

从第一音频序列中第一音频帧处，截取第一音频序列片段；

根据所述第一音频序列片段，在第一数据集中搜索得到与之相似的至少一个候选音频序列片段；其中，所述第一数据集中包括多个储备音频序列；

根据分别与所述至少一个候选音频序列片段匹配的至少一个候选动作序列片段，生成与所述第一音频帧匹配的第一动作状态信息；

发声对象在发出所述第一音频序列中所述第一音频帧时，按照所述第一动作状态信息驱动所述发声对象的动作。

在本申请的另一实施例中，提供了一种人机交互方法。该方法，包括：

接收用户的输入信息；

根据所述输入信息，生成反馈对象需反馈的第一音频序列；

从所述第一音频序列中第一音频帧处，截取第一音频序列片段；

根据所述第一音频序列片段，在第一数据集中搜索得到与之相似的至少一个候选音频序列片段；其中，所述第一数据集中包括多个储备音频序列；

根据分别与所述至少一个候选音频序列片段匹配的至少一个候选动作序列片段，生成与所述第一音频帧匹配的第一动作状态信息；

所述反馈对象在发出所述第一音频序列中所述第一音频帧时，按照所述第一动作状态信息驱动所述反馈对象的反馈动作。

在本申请的一实施例中，提供了一种电子设备。该电子设备，包括：存储器和处理器，其中，

所述存储器，用于存储程序；