[发明专利]一种基于对象识别的远程快速界面交互方法及装置

权利要求书

1.一种基于对象识别的远程操作界面交互方法，其特征在于，包括以下步骤：

S100、建立本地设备与远程主机之间的界面图像关联的接口和通道；

S200、通过对比算法，在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息，然后获取该分块对象及其自身的图元在图像库/缓冲区中的对应元素的ID；

S300、跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的位置及缩放的变换参数；

S400、根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行动态区域的图元的变换，并刷新界面图像；

S500、本地设备接收远程主机发送的图像、图元位置或图像库的ID数据，微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步；

所述步骤S500包括：

传送指令到远程主机，在远程执行指令事件，刷新界面，确定相应图元的实际位置；

判断本地设备和远程主机的分块对象或图元的位置及缩放的差异值是否超过预设的阈值；

如果超过该阈值，则在本地修正图元，包括：修正图元偏移量并且缓冲图元到本地设备的缓冲区，以替换本地设备的界面图像中的缺失的图元和与远程主机不一致的图元。

2.根据权利要求1所述的方法，其特征在于，所述步骤S200包括：

根据所选的界面交互场景和/或当前运行的应用程序种类，以预设的划分方式划分所述分块对象，该预设的划分方式包含横分动态区域、列分动态区域、文字分离、矢量图分离、或播放影像分离的方式。

3.根据权利要求1所述的方法，其特征在于，所述步骤S200中：分块对象是指按照给定的划分方式将界面图像分割出的局部图像，而这种局部图像包含一个或多个图元。

4.根据权利要求1或2或3所述的方法，其特征在于，在所述步骤S200中：

首先识别整体的分块对象在图像库或缓冲区中的对应元素的ID，如果找不到对应的元素ID然后再识别分块对象内部的每个图元在图像库/缓冲区中的对应元素的ID；

所述对比算法包括哈希对比算法或神经网络对比识别算法。

5.根据权利要求1所述的方法，其特征在于，所述步骤S300包括：

获取输入指令的事件和动作参数，判断与该指令的事件关联的分块对象或图元；

将动作参数转换为对应的分块对象或图元的位置和缩放的变换参数，并且配置所述动作的执行时间与分块对象或图元的变换时间一致。

6.根据权利要求5所述的方法，其特征在于，在所述步骤S300中，输入指令的事件包括输入设备的按键点击、缩放、拖动、滚页或应用程序的焦点切换。

7.根据权利要求1所述的方法，其特征在于，所述步骤S400包括：

在执行指令事件的时间段内，根据分块对象或图元的变换参数，在从本地的缓冲区获取与当前图像界面的动态区域关联的额外图元，并且加入该额外图元进行动态区域的界面变换。

8.根据权利要求1所述的方法，其特征在于，所述步骤S400包括：如果没有获取得到分块对象或者相应的图元来执行界面变换，则在等待缓冲区接收远程界面的图像数据的时候，保持当前界面的动态区域不变动。

9.根据权利要求1所述的方法，其特征在于，所述缓冲区中：缓冲数据包括各个文件夹图标相对于文件夹窗口的位置数据。