[发明专利]基于人工智能虚拟形象的互动服务方法及装置

说明书

本发明一实施例的在包括无人信息终端和互动服务装置的系统中执行的基于人工智能虚拟形象(AI)的互动服务方法，其包括如下步骤：向互动服务装置传输从安装有无人信息终端的麦克风阵列收集的声音信号和从视觉传感器收集的影像信号；上述互动服务装置基于接收到的声音信号和影像信号来设定检测区域；上述互动服务装置基于在上述检测区域内收集的用户的语音信号和用户的影像信号来识别主动说话人员；上述互动服务装置生成针对识别到的主动说话人员的反应，对人工智能虚拟形象进行三维渲染后，向上述人工智能虚拟形象反映所生成的反应；以及上述互动服务装置向上述无人信息终端提供所渲染的人工智能虚拟形象。

技术领域

本发明涉及基于虚拟形象的互动服务方法及装置。

背景技术

虚拟形象(Avatar)为代表分身或化身的词，在虚拟空间中是指代替用户角色的动画卡通形象。

在现有的虚拟形象中，大部分属于二维图片。出现在网络游戏或网络聊天中的二维虚拟形象属于最基本的水平，为此，当前出现有用于解决缺少现实感及立体感问题的虚拟形象。

最近，随着人工智能技术及传感技术的发展，当前，针对与人自然交流沟通的人工智能虚拟形象技术的需求也不断增加。

发明内容

发明所要解决的问题

本发明的目的在于，提供能够与人自然交流沟通的基于人工智能虚拟形象的互动服务方法及装置。

用于解决问题的方案

用于实现上述目的的本发明一实施例的在包括无人信息终端和互动服务装置的系统中执行的基于人工智能虚拟形象(AI)的互动服务方法的特征在于，包括如下步骤：向互动服务装置传输从安装有上述无人信息终端的麦克风阵列收集的声音信号和从视觉传感器收集的影像信号；上述互动服务装置基于接收到的声音信号和影像信号来设定检测区域；上述互动服务装置基于在上述检测区域内收集的用户的语音信号和用户的影像信号来识别主动说话人员；上述互动服务装置生成针对识别到的主动说话人员的反应，对人工智能虚拟形象进行三维渲染后，向上述人工智能虚拟形象反映所生成的反应；以及上述互动服务装置向上述无人信息终端提供所渲染的人工智能虚拟形象。

在一实施例中，本发明的特征在于，在设定上述检测区域的步骤中，上述互动服务装置基于接收到的声音信号并通过声源定位方法来推定声源方向，通过旁瓣信号对消(Sidelobe signal cancelling)方法限制来自侧面的声音输入，针对接收到的影像信号应用背景分离技术来限制识别到的对象之后的影像输入。

在一实施例中，本发明的特征在于，在识别上述主动说话人员的步骤中，针对上述检测区域内用户的影像信号，上述互动服务装置通过人脸识别方法来确定人的数量，当在检测区域内识别到多人时，通过声源位置推定方法、语音识别方法及嘴形识别方法中的一种以上的方法来将识别成说话人员的人选定为主动说话人员。

在一实施例中，本发明的特征在于，在向上述无人信息终端提供上述人工智能虚拟形象的步骤中，针对接收到的用户的影像信号，分析包括说话人员的脸部表情、姿势、手势、语气中的一种以上的信息来生成反应。

在一实施例中，本发明的特征在于，在向上述无人信息终端提供上述人工智能虚拟形象的步骤中，上述互动服务装置通过上述语音识别(ASR)、自然语言理解(NLU)及文本转语音(Text-to-Speech，TTS)中的一种以上来识别主动说话人员的语音。

在一实施例中，本发明的特征在于，上述互动服务装置对识别到的语音信息和非语音信息赋予加权值，当上述语音信息和非语音信息表示相同方向的结果或表示不同方向的结果时，上述互动服务装置对识别到的语音信息和非语音信息赋予互不相同的加权值。