[发明专利]智能设备交互方法、服务端和客户端

权利要求书

1.一种智能设备交互方法，其特征在于，应用于服务端，所述方法包括：

获取视频采集设备实时采集的智能设备所在环境的视频画面；

对所述视频画面实时进行目标检测，得到目标检测结果，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；

将所述视频画面和所述目标检测结果发送至客户端，以使所述客户端根据所述目标检测结果获取所述智能设备的操作界面信息，并将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。

2.根据权利要求1所述的方法，其特征在于，还包括：

接收智能设备实时上报的运行状态更新信息，所述运行状态更新信息是所述智能设备执行控制指令之后生成的，所述控制指令是根据用户通过所述客户端的叠加显示界面输入的控制信息生成的；

将所述运行状态更新信息发送至所述客户端，以使所述客户端根据所述运行状态更新信息，更新所述智能设备的操作界面信息。

3.根据权利要求2所述的方法，其特征在于，还包括：

基于人工智能算法，检测所述视频画面中的智能设备的当前运行状态；

判断所述当前运行状态和接收到的所述智能设备当前上报的运行状态是否一致；

若判断结果为否，则更新所述智能设备的运行状态，并向目标终端发送提示信息，以指示目标人员采取相应措施。

4.根据权利要求1-3任一项所述的方法，其特征在于，还包括智能设备的注册步骤：

接收用户输入的至少一个智能设备的注册信息，所述注册信息包括智能设备类型、智能设备支持的功能、智能设备支持的状态信息、智能设备的图片、智能设备在各种不同运行状态和模式下的图片、智能设备在不同运行状态下分别对应的操作界面信息、智能设备所在环境的图片和智能设备标识；

对所述智能设备的注册信息进行校验处理，并保存所述智能设备的注册信息；

在所述智能设备的图片、智能设备在各种不同运行状态和模式下的图片中提取识别特征，并保存所述智能设备对应的设备识别特征；

在智能设备所在环境的图片中提取环境识别特征，并保存不同智能设备分别对应的环境识别特征；

创建并保存每个智能设备分别对应的编号以及编号与设备识别特征、环境识别特征、智能设备类型、智能设备在不同运行状态下分别对应的操作界面信息、智能设备支持的功能以及智能设备支持的状态信息之间的对应关系，并保存所述对应关系。

5.根据权利要求4所述的方法，其特征在于，所述对所述视频画面进行目标检测，得到目标检测结果，包括：

提取所述视频画面中每个智能设备的设备识别特征和环境识别特征；

根据提取到的设备识别特征和环境识别特征以及所述对应关系，确定所述视频画面中每个智能设备的设备类型和每个智能设备所在的位置信息。

6.一种智能设备交互方法，其特征在于，应用于客户端，所述方法包括：

接收服务端发送的视频画面和目标检测结果，所述视频画面是服务端获取的视频采集设备实时采集的智能设备所在环境的视频画面，所述目标检测结果是服务端对所述视频画面实时进行目标检测得到的，所述目标检测结果包括所述视频画面中包含的智能设备的设备类型和每个智能设备所在的位置信息；

根据所述目标检测结果，获取所述智能设备的操作界面信息；

将所述操作界面信息和所述视频画面叠加显示，以指示用户通过叠加显示界面与所述智能设备进行交互。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标检测结果，获取所述智能设备的操作界面信息，包括：

根据所述智能设备的设备类型，向服务端请求所述智能设备的当前运行状态信息；

根据所述服务端返回的所述智能设备的当前状态信息，向服务端请求与所述智能设备的当前运行状态信息对应的操作界面信息，所述智能设备的当前运行状态信息是服务端基于人工智能算法对所述视频画面中的智能设备进行检测得到的。