[发明专利]虚拟人多模态交互数据处理方法和系统

权利要求书

1.一种虚拟人多模态交互数据处理方法，其特征在于，所述虚拟人搭载于具有操作系统的智能硬件设备中，所述虚拟人在被启动后显示在预设区域内，并具备特定的形象、性格设定、社会属性以及技能，所述虚拟人多模态交互数据处理方法包括以下步骤：

获取多模态输入数据；

调用机器人能力接口解析所述多模态输入数据，并生成多模态输出数据，其中包括应答数据；

将所述应答数据中的语音文件与所述虚拟人的头部运动模型进行匹配，其中，所述语音文件包括：音频旋律及文本切词结果；

通过虚拟人的形象输出头部运动数据及其他多模态输出数据，其中，所述多模态输出数据与所述虚拟人的性格、属性以及技能关联。

2.如权利要求1所述的虚拟人多模态交互数据处理方法，其特征在于，在将所述应答数据中的语音文件与所述虚拟人的头部模型进行匹配的步骤中包含以下步骤：

提取所述语音文件的音频旋律节奏并将所述语音文件转换为文本；

将所述文本进行切词划分，提取出实体分词。

3.如权利要求2所述的虚拟人多模态交互数据处理方法，其特征在于，在将所述应答数据中的语音文件与所述虚拟人的头部模型进行匹配的步骤中通过所述头部模型执行以下步骤：

依据所述旋律节奏以及所述实体分词将所述文本的内容进行分类，以确定所述头部运动风格以及对应的头部动作。

4.如权利要求3所述的虚拟人多模态交互数据处理方法，其特征在于，还包括：依据所述实体分词的词性及该实体分词所属领域分类词组进行分类，以确定头部运动风格以及对应的头部动作。

5.如权利要求3所述的虚拟人多模态交互数据处理方法，其特征在于，在输出所述多模态输出数据的步骤中，还包括：根据所述虚拟人的社会属性、性格设定以及当前场景选择最优的头部运动数据来进行输出，所述头部运动数据包括：头部运动动画数据。

6.如权利要求3或5所述的虚拟人多模态交互数据处理方法，其特征在于，在输出所述多模态输出数据的步骤中，还将所述头部运动数据的动画播放时间点与对应的所述实体分词在所述语音文件中的播放时间点进行匹配。

7.一种存储介质，其上存储有可执行如权利要求1-6中任一项所述的方法步骤的程序代码。

8.一种虚拟人多模态交互数据处理装置，其特征在于，所述虚拟人搭载于具有操作系统的智能硬件设备中，所述虚拟人在被启动后显示在预设区域内，并具备特定的形象、性格设定、社会属性以及技能，所述虚拟人多模态交互数据处理装置包含：

获取模块，其用于获取多模态输入数据；

调用模块，其用于调用机器人能力接口解析所述多模态输入数据，并生成多模态输出数据，其中包括应答数据；

匹配模块，其用于将所述应答数据中的语音文件与所述虚拟人的头部运动模型进行匹配，其中，所述语音文件包括：音频旋律及文本切词结果；

输出模块，其用于通过虚拟人的形象输出头部运动数据及其他多模态输出数据，其中，所述多模态输出数据与所述虚拟人的性格、属性以及技能关联。

9.如权利要求8所述的虚拟人多模态交互数据处理装置，其特征在于，所述匹配模块包含：

转换单元，其用于提取所述语音文件的音频旋律节奏并将所述语音文件转换为文本；

提取单元，其用于将所述文本进行切词划分，提取出实体分词。

10.一种虚拟人多模态交互数据处理系统，其特征在于，所述虚拟人搭载于具有操作系统的智能硬件设备中，所述虚拟人在被启动后显示在预设区域内，并具备特定的形象、性格设定、社会属性以及技能，所述虚拟人多模态交互数据处理系统包括：

硬件设备，包括：

获取模块，其用于获取多模态输入数据；

输出模块，其用于通过虚拟人的形象输出头部运动数据及其他多模态输出数据，其中，所述多模态输出数据与所述虚拟人的性格、属性以及技能关联；

云服务器，包括：

调用模块，其用于调用机器人能力接口解析所述多模态输入数据，并生成多模态输出数据，其中包括应答数据；

匹配模块，其用于将所述应答数据中的语音文件与所述虚拟人的头部运动模型进行匹配，其中，所述语音文件包括：音频旋律及文本切词结果。