[发明专利]一种物联网设备的控制方法和装置

说明书

本申请实施例提供了一种物联网设备的控制方法和装置，该方法包括：获得包含有至少一个物联网设备的图像和来自用户的启动控制指令，该启动控制指令用于启动对所述至少一个物联网设备中的第一物联网设备的控制；将图像和启动控制指令输入预先训练好的第一模型，以得到第一物联网设备的设备信息，该设备信息包括如下一项或多项：设备类型、编号和操控提示，操控提示用于提示对第一物联网设备进行控制可使用的操控指令；显示第一物联网设备的设备信息，以便于用户基于该设备信息对第一物联网设备进行控制。因此，用户在看到物联网设备的同时，也可以输入语音的方式与物联网设备进行交互，实现用户与物联网设备的自然交互。

技术领域

本申请涉及物联网领域，尤其涉及一种物联网设备的控制方法和装置。

背景技术

随着人工智能技术的发展，物联网技术也得到了快速的发展。

目前，对物联网设备的控制只能通过较为单一的方式实现一些简单的操作。例如，在以移动终端应用程序(application，APP)为入口的触屏控制中，用户可通过触屏操作点击电子设备上的控件来控制物联网设备，或者，在以智能音箱为入口的语音控制中，用户可通过输入含有物联网设备的语音命令，打开或关闭物联网设备。然而，这种单一的控制方式并不利于实现复杂的控制，可能会带来繁琐的交互流程，操作不够自然和便捷，用户体验不好。

发明内容

本申请实施例提供了一种物联网设备的控制方法和装置，以期使人与物联网设备的交互更加自然与便捷。

第一方面，本申请提供了一种物联网设备的控制方法，该方法包括：物联网设备的控制装置获得包含有至少一个物联网设备的图像和来自用户的启动控制指令，所述启动控制指令用于启动对所述至少一个物联网设备中的第一物联网设备的控制；将所述图像和所述语音指令输入预先训练好的第一模型，以得到所述至少一个物联网设备中第一物联网设备的设备信息，所述设备信息包括如下一项或多项：设备类型、编号和操控提示，所述操控提示用于提示对所述第一物联网设备进行控制可使用的操控指令；显示所述第一物联网设备的设备信息，以便于用户基于所述设备信息对所述第一物联网设备进行控制。

基于上述方案，用户通过物联网设备的控制装置摄取的图像中看到物联网设备时，便可采用自然语言与物联网设备进行交互，物联网设备的控制装置基于用户输入的自然语言即可得到与物联网设备的设备信息，如物联网设备的设备类型、编号和操控提示等，并向用户显示设备信息，从而便于用户对物联网设备的进一步操控。通过将图像与语音融合，实现多模融合的交互，使得对物联网设备的控制更加自然和便捷。

可选地，接收来自用户的操控指令，所述操控指令用于控制所述至少一个物联网设备中的第一物联网设备；响应于所述操控指令，显示与所述第一物联网设备的操控界面，所述操控界面用于引导所述用户对所述第一物联网设备的操作。

可选地，所述第一模型包括图像理解网络、语音识别网络和语义特征提取网络；所述方法还包括：获取训练样本，所述训练样本包括包含有至少一个物联网设备的图像和对所述至少一个物联网设备的语音操控指令，所述图像携带标注，所述标注用于指示所述图像中物联网设备的类型、编号、位置、状态中的一项或多项信息；通过所述图像理解网络提取所述图像的语义描述；通过所述语音识别网络提取所述语音信号的文本信息；将所述语义描述和所述文本信息输入所述语义特征提取网络，以对所述语义特征提取网络进行训练，训练后的所述语义特征提取网络用于对输入的语义描述和文本信息进行融合，获得物联网设备的设备信息。

可选地，所述显示所述第一物联网设备的设备信息，包括：在所述控制装置的增强画面中显示所述第一物联网设备的设备信息；所述响应于所述语音指令，显示所述第一物联网设备的操控界面，包括：响应于所述语音指令，在所述控制装置的增强画面中显示所述第一物联网设备的操控界面。

可选地，所述方法还包括：响应于用户的隔空操作或触屏操作，控制所述第一物联网设备。

可选地，所述控制装置为增强现实眼镜、手机或平板电脑。