[发明专利]虚拟人多模态交互数据处理方法和系统

说明书

技术领域

本发明涉及人工智能领域，具体地说，涉及一种虚拟人多模态交互数据处理方法和系统。

背景技术

机器人聊天交互系统的开发致力于模仿人类对话。早期广为人知的聊天机器人应用程序包括小i聊天机器人、苹果手机上的siri聊天机器人等处理所接收到的输入(包括文本或语音)并进行响应，以试图在上下文之间模仿人类响应。

然而，要想完全模仿人类进行多模态交互，丰富用户的交互体验，现有的这些机器人聊天系统远远达不到要求。

发明内容

为解决上述问题，本发明提供了一种虚拟人多模态交互数据处理方法，所述虚拟人搭载于具有操作系统的智能硬件设备中，所述虚拟人在被启动后显示在预设区域内，并具备特定的形象、性格设定、社会属性以及技能，所述虚拟人多模态交互数据处理方法包括以下步骤：

获取多模态输入数据；

调用机器人能力接口解析所述多模态输入数据，并生成多模态输出数据，其中包括应答数据；

将所述应答数据中的语音文件与所述虚拟人的头部运动模型进行匹配，其中，所述语音文件包括：音频旋律及文本切词结果；

通过虚拟人的形象输出头部运动数据及其他多模态输出数据，其中，所述多模态输出数据与所述虚拟人的性格、属性以及技能关联。

根据本发明的一个实施例，在将所述应答数据中的语音文件与所述虚拟人的头部模型进行匹配的步骤中包含以下步骤：

提取所述语音文件的音频旋律节奏并将所述语音文件转换为文本；

将所述文本进行切词划分，提取出实体分词。

根据本发明的一个实施例，在将所述应答数据中的语音文件与所述虚拟人的头部模型进行匹配的步骤中通过所述头部模型执行以下步骤：

依据所述旋律节奏以及所述实体分词将所述文本的内容进行分类，以确定所述头部运动风格以及对应的头部动作。

根据本发明的一个实施例，还包括：依据所述实体分词的词性及该实体分词所属领域分类词组进行分类，以确定头部运动风格以及对应的头部动作。

根据本发明的一个实施例，在输出所述多模态输出数据的步骤中，还包括：根据所述虚拟人的社会属性、性格设定以及当前场景选择最优的头部运动数据来进行输出，所述头部运动数据包括：头部运动动画数据。

根据本发明的一个实施例，在输出所述多模态输出数据的步骤中，还将所述头部运动数据的动画播放时间点与对应的所述实体分词在所述语音文件中的播放时间点进行匹配。

根据本发明的另一个方面，还提供了一种存储介质，其上存储有可执行如上所述中任一项所述的方法步骤的程序代码。

根据本发明的另一个方面，还提供了一种虚拟人多模态交互数据处理装置，所述虚拟人搭载于具有操作系统的智能硬件设备中，所述虚拟人在被启动后显示在预设区域内，并具备特定的形象、性格设定、社会属性以及技能，所述虚拟人多模态交互数据处理装置包含：

获取模块，其用于获取多模态输入数据；

调用模块，其用于调用机器人能力接口解析所述多模态输入数据，并生成多模态输出数据，其中包括应答数据；

匹配模块，其用于将所述应答数据中的语音文件与所述虚拟人的头部运动模型进行匹配，其中，所述语音文件包括：音频旋律及文本切词结果；

输出模块，其用于通过虚拟人的形象输出头部运动数据及其他多模态输出数据，其中，所述多模态输出数据与所述虚拟人的性格、属性以及技能关联。

根据本发明的一个实施例，所述匹配模块包含：

转换单元，其用于提取所述语音文件的音频旋律节奏并将所述语音文件转换为文本；

提取单元，其用于将所述文本进行切词划分，提取出实体分词。

根据本发明的另一个方面，还提供了一种虚拟人多模态交互数据处理系统，所述虚拟人搭载于具有操作系统的智能硬件设备中，所述虚拟人在被启动后显示在预设区域内，并具备特定的形象、性格设定、社会属性以及技能，所述虚拟人多模态交互数据处理系统包括：

硬件设备，包括：

获取模块，其用于获取多模态输入数据；

输出模块，其用于通过虚拟人的形象输出头部运动数据及其他多模态输出数据，其中，所述多模态输出数据与所述虚拟人的性格、属性以及技能关联；

云服务器，包括：

调用模块，其用于调用机器人能力接口解析所述多模态输入数据，并生成多模态输出数据，其中包括应答数据；