[发明专利]智能设备交互方法、服务端和客户端

说明书

本发明实施例提供一种智能设备交互方法、服务端和客户端，该方法包括：获取视频采集设备实时采集的智能设备所在环境的视频画面；对视频画面实时进行目标检测，得到目标检测结果，目标检测结果包括视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；将视频画面和目标检测结果发送至客户端，以使客户端根据目标检测结果获取智能设备的操作界面信息，并将操作界面信息和视频画面叠加显示，以指示用户通过叠加显示界面与智能设备进行交互。本发明实施例通过叠加显示界面和智能设备进行远程交互，保证了对智能设备的控制准确率，还可以实时查看智能设备的运行状态，保证客户能够随时且直观的查看智能设备的状态，提高了操作效率。

技术领域

本发明实施例涉及物联网技术领域，尤其涉及一种智能设备交互方法、服务端和客户端。

背景技术

随着物联网技术的快速发展，越来越多的智能设备应运而生，比如，扫地机器人、智能音箱、智能电灯、智能电视等智能设备。用户通过一部手机或者智能音箱便可以与接入物联网的各种智能设备进行交互，控制智能设备运行状态，极大的方便了人们的生活。

相关技术中，用户与智能设备的交互方式主要有两种，第一种是图形用户接口(Graphical User Interface，GUI)的方式，即采用图形方式在手机界面上显示相关智能设备的操作用户界面，用户可以通过操作手机应用程序APP的GUI中的按钮或者其他控件来对智能设备进行控制，也可以通过界面中的视觉控件来查看设备的状态。第二种是语音控制方式，用户可以通过语音来和智能音箱进行交互，然后再通过智能音箱对智能设备进行控制，并通过智能音箱播放的声音来收听设备的状态。

但是，通过GUI的方式，需要用户找到手机、在打开APP、切换到设备界面等一系列操作才能对设备进行控制或者查看设备状态，操作效率比较低；通过语音的方式，虽然能在一定程度上提高操作效率，但是对设备的控制精度较低、控制准确率较低，并且对设备状态的查看不够直观和高效。

发明内容

本发明实施例提供一种智能设备交互方法、服务端和客户端，以解决现有技术中通过GUI的方式，需要用户找到手机、在打开APP、切换到设备界面等一系列操作才能对设备进行控制或者查看设备状态，操作效率比较低；通过语音的方式，虽然能在一定程度上提高操作效率，但是对设备的控制精度较低、控制准确率较低，并且对设备状态的查看不够直观和高效的技术问题。

本发明实施例的第一方面提供一种智能设备交互方法，应用于服务端，所述方法包括：

获取视频采集设备实时采集的智能设备所在环境的视频画面；

对所述视频画面实时进行目标检测，得到目标检测结果，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；

将所述视频画面和所述目标检测结果发送至客户端，以使所述客户端根据所述目标检测结果获取所述智能设备的操作界面信息，并将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。

可选的，所述方法还包括：

接收智能设备实时上报的运行状态更新信息，所述运行状态更新信息是所述智能设备执行控制指令之后生成的，所述控制指令是根据用户通过所述客户端的叠加显示界面输入的控制信息生成的；

将所述运行状态更新信息发送至所述客户端，以使所述客户端根据所述运行状态更新信息，更新所述智能设备的操作界面信息。

可选的，所述方法还包括：

基于人工智能算法，检测所述视频画面中的智能设备的当前运行状态；

判断所述当前运行状态和接收到的所述智能设备当前上报的运行状态是否一致；

若判断结果为否，则更新所述智能设备的运行状态，并向目标终端发送提示信息，以指示目标人员采取相应措施。