[发明专利]基于多模态交互的控制方法

说明书

本发明涉及交互领域，为了提高交互控制准确性，提供了基于多模态交互的控制方法，包括：步骤1、设备注册，注册信息包括设备类型及位置；步骤2、定义用户动作对应的被控区域；步骤3、通过图像识别获取用户动作，基于用户动作确定被控区域，通过语音识别获取被控对象类型及控制指令；步骤4、基于被控对象类型、控制指令及被控区域完成设备控制。采用上述方式提高了交互控制准确性。

技术领域

本发明涉及交互领域，具体是一种基于多模态交互的控制方法。

背景技术

目前的人工智能交互主要采用单一模态，如仅使用语音交互或仅使用图像交互，仅采用语音交互时存在被控区域识别困难或识别不准确等问题；采用图像交互也总会存在控制对象及控制指令识别困难或不准确的问题。

发明内容

为了提高交互控制准确性，本申请提供了一种基于多模态交互的控制方法。

本发明解决上述问题所采用的技术方案是：

基于多模态交互的控制方法，包括：

步骤1、设备注册，注册信息包括设备类型及位置；

步骤2、定义用户动作对应的被控区域；

步骤3、通过图像识别获取用户动作，基于用户动作确定被控区域，通过语音识别获取被控对象类型及控制指令；

步骤4、基于被控对象类型、控制指令及被控区域完成设备控制。

进一步地，所述步骤4中，若被控区域中没有对应的被控对象类型，则提示用户重新确定被控区域或对全域中的对应被控对象类型均实施控制指令。

本发明相比于现有技术具有的有益效果是：通过图像识别确定被控区域，通过语音识别确定被控对象类型及控制指令，二者结合实现交互控制，准确性更高；通过预定义用户动作对应的被控区域，使得被控区域识别模型更简单。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

基于多模态交互的控制方法，包括：

步骤1、设备注册，注册信息包括设备类型及位置，如房间中的窗户、灯、插板、空调、电视、音箱及其位置；

步骤2、定义用户动作对应的被控区域，如用户指向右边，表示操作的区域是右边区域，用户指向上面表示操作的是上面区域；

步骤3、通过图像识别获取用户动作，基于用户动作确定被控区域；通过语音识别获取被控对象类型及控制指令，被控对象类型及控制指令为灯、打开之类的词；

步骤4、基于被控对象类型、控制指令及被控区域完成设备控制，如打开右边区域中的灯。

进一步地，所述步骤4中，若被控区域中没有对应的被控对象类型，则提示用户重新确定被控区域或对全域中的被控对象类型均实施控制指令。如，右边区域没有灯，左边区域有灯，用户意图为打开右边区域的灯。此时将提示用户从新确定被控区域，或打开左边区域中的灯。