[发明专利]数据处理、动作驱动与人机交互方法及设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

从第一音频序列中第一音频帧处，截取第一音频序列片段；

根据所述第一音频序列片段，在第一数据集中搜索得到与之相似的至少一个候选音频序列片段；其中，所述第一数据集中包括多个储备音频序列；

根据分别与所述至少一个候选音频序列片段匹配的至少一个候选动作序列片段，生成与所述第一音频帧匹配的第一动作状态信息。

2.根据权利要求1所述的方法，其特征在于，根据分别与所述至少一个候选音频序列片段匹配的至少一个候选动作序列片段，生成与所述第一音频帧匹配的第一动作状态信息，包括：

获取所述第一音频帧在所述第一音频序列片段中的排序；

综合各所述候选动作序列片段中所述排序处的第三动作状态信息，确定所述第一动作状态信息。

3.根据权利要求2所述的方法，其特征在于，综合各所述候选动作序列片段中所述排序处的第三动作状态信息，确定所述第一动作状态信息，包括：

获取与所述第一音频序列中第二音频帧匹配的第二动作状态信息；其中，所述第一音频序列中所述第二音频帧位于所述第一音频帧之前；

根据各所述候选动作序列片段中所述排序处的第三动作状态信息与所述第二动作状态信息之间的第二状态差异、以及各所述候选动作序列片段对应的权重，预估待确定的所述第一动作状态信息与所述第二动作状态信息之间的第一状态差异；

根据所述第二动作状态信息以及所述第一状态差异，确定所述第一动作状态信息。

4.根据权利要求3所述的方法，其特征在于，所述至少一个候选动作序列片段中包括第一候选动作序列片段；

上述方法，还包括：

获取所述第一候选动作序列片段中与所述第三动作状态信息相邻且位于所述第三动作状态信息之前的至少一个第四动作状态信息、以及分别与所述第一音频序列片段中至少一个第三音频帧匹配的至少一个第五动作状态信息；其中，所述第一音频序列片段中所述至少一个第三音频帧与所述第一音频帧相邻且位于所述第一音频帧之前；

根据所述至少一个第四运动状态信息与所述至少一个第五运动状态信息之间的第一相似度，确定所述第一候选动作序列片段对应的权重。

5.根据权利要求4所述的方法，其特征在于，所述至少一个候选音频序列片段中包括与所述第一候选动作序列片段匹配的第一候选音频序列片段；

上述方法，还包括：

获取所述第一候选音频序列片段中位于所述排序处的第四音频帧之前且与所述第四音频帧相邻的至少一个第五音频帧；

获取所述第一音频序列片段中所述至少一个第三音频帧；

计算所述至少一个第五音频帧与所述至少一个第三音频帧之间的第二相似度；

相应的，根据所述至少一个第四运动状态信息与所述至少一个第五运动状态信息之间的第一相似度，确定所述第一候选动作序列片段对应的权重，包括：

综合所述第一相似度和所述第二相似度，确定所述第一候选动作序列片段对应的权重。

6.根据权利要求3至5中任一项所述的方法，其特征在于，还包括：

对所述第三动作状态信息进行特征抽取，得到第一特征；

对所述第二动作状态信息进行特征抽取，得到第二特征；

将所述第一特征减去所述第二特征，得到差值特征，以作为所述第三动作状态信息与所述第二动作状态信息之间的第二状态差异。

7.根据权利要求6所述的方法，其特征在于，根据所述第二动作状态信息以及所述第一状态差异，确定所述第一动作状态信息，包括：

将所述第一状态差异叠加在所述第二特征上，得到第三特征；

对所述第三特征进行特征还原，得到所述第一动作状态信息。

8.根据权利要求3至5中任一项所述的方法，其特征在于，所述第二音频帧为所述第一音频序列中所述第一音频帧的前一音频帧。