[发明专利]端到端的虚拟对象动画生成方法及装置、存储介质、终端

权利要求书

1.一种端到端的虚拟对象动画生成方法，其特征在于，包括：

接收输入信息，所述输入信息包括待生成虚拟对象动画的文本信息或音频信息；

将所述输入信息转换为发音单元序列；

对所述发音单元序列进行特征分析，得到对应的语言学特征序列；

将所述语言学特征序列输入预设时序映射模型，以基于所述语言学特征序列生成对应的虚拟对象动画。

2.根据权利要求1所述的虚拟对象动画生成方法，其特征在于，所述将所述输入信息转换为发音单元序列包括：

将所述输入信息转换为发音单元及对应的时间码；

根据所述时间码对所述发音单元进行时间对齐操作，以得到所述发音单元序列，其中，所述发音单元序列为时间对齐后的序列。

3.根据权利要求2所述的虚拟对象动画生成方法，其特征在于，所述将所述输入信息转换为发音单元及对应的时间码包括：

当所述输入信息为音频信息时，基于语音识别技术和预设发音字典将所述音频信息转换为发音单元及对应的时间码。

4.根据权利要求2所述的虚拟对象动画生成方法，其特征在于，所述将所述输入信息转换为发音单元及对应的时间码包括：

当所述输入信息为文本信息时，基于语音合成技术将所述文本信息转换为发音单元及对应的时间码。

5.根据权利要求1所述的虚拟对象动画生成方法，其特征在于，所述对所述发音单元序列进行特征分析，得到对应的语言学特征序列包括：

对所述发音单元序列中的每个发音单元进行特征分析，得到每个发音单元的语言学特征；

基于每个发音单元的语言学特征，生成对应的语言学特征序列。

6.根据权利要求5所述的虚拟对象动画生成方法，其特征在于，所述对所述发音单元序列中的每个发音单元进行特征分析，得到每个发音单元的语言学特征包括：

对于每个发音单元，分析所述发音单元的发音特征，以得到所述发音单元的独立语言学特征；

基于所述独立语言学特征生成所述语言学特征。

7.根据权利要求5所述的虚拟对象动画生成方法，其特征在于，所述对所述发音单元序列中的每个发音单元进行特征分析，得到每个发音单元的语言学特征包括：

对于每个发音单元，分析所述发音单元的发音特征，以得到所述发音单元的独立语言学特征；

分析所述发音单元的邻接发音单元的发音特征，得到所述发音单元的邻接语言学特征；

基于所述独立语言学特征和邻接语言学特征生成所述语言学特征。

8.根据权利要求7所述的虚拟对象动画生成方法，其特征在于，所述分析所述发音单元的邻接发音单元的发音特征，得到所述发音单元的邻接语言学特征包括：

统计所述邻接发音单元所具有发音特征的种类以及同种发音特征的数量，并根据统计结果得到所述邻接语言学特征。

9.根据权利要求1所述的虚拟对象动画生成方法，其特征在于，所述预设时序映射模型用于按时序将输入的语言学特征序列映射至虚拟对象的表情参数和/或动作参数，以生成对应的虚拟对象动画。

10.根据权利要求9所述的虚拟对象动画生成方法，其特征在于，所述将所述语言学特征序列输入预设时序映射模型，以基于所述语言学特征序列生成对应的虚拟对象动画包括：

基于所述预设时序映射模型对所述语言学特征序列进行多维度的信息提取，其中，所述多维度包括时间维度和语言学特征维度；

基于所述预设时序映射模型对多维度的信息提取结果进行特征域的映射和特征维度变换，以得到所述虚拟对象的表情参数和/或动作参数，其中，所述特征域的映射是指语言学特征域到虚拟对象动画特征域的映射，所述虚拟对象动画特征域包括所述虚拟对象的表情特征和/或动作特征。