[发明专利]一种基于对象识别的远程快速界面交互方法及装置

说明书

本发明涉及一种基于对象识别的远程操作界面交互方案，包括：S100、建立本地设备与远程主机之间的关联；S200、通过对比算法，在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息；S300、跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的变换参数；S400、根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行图元变换；S500、微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步。本技术方案使得在远程控制期间，极大地减少本地设备和远程主机之间传输的界面图像数据量，从而提高界面交互操作流畅度、提升用户操作体验。

技术领域

本发明涉及计算机通信领域，尤其涉及一种基于对象识别的远程快速界面交互方法及装置。

背景技术

远程控制是计算机技术领域中常用的技术。例如在软件的开发和测试过程中，软件开发商通常需要在测试服务器或移动终端等远程主机上安装多台虚拟机。每台虚拟机上可以运行不同环境参数的操作系统实例，以验证软件在多种配置环境下的运行状况。此时，测试人员和开发人员可以通过远程登陆到上述远程主机以执行具体的测试任务。基于上述技术方案，由于相关人员与物理设备无需处于相同的工作场所，且远程登陆的方式可以方便相关人员验证、复现和回归软件开发过程中的各类问题，为软件的开发和测试工作带来了便利。

然而，目前各类远程控制的技术方案都依赖于本地设备与远程主机的网络连接状况。当客户端通过互联网访问虚拟机图形化控制台之后，将虚拟机刷新后的页面返回至客户端。由于刷新后的页面需要整体发送回客户端，所以当网络连接状况较差或多台本地设备并发连接到远程主机时，在本地设备上将出现明显的网络延时。这使得本地设备对远程主机的操作不流畅，用户不能从本地设备上实时获得其向远程主机上发出的指令，从而影响了远程控制的实际使用效果。

发明内容

本发明的目的是解决现有技术的不足，提供一种用于远程操作的快速界面交互方法及装置，能够获得提高本地设备远程操作远程主机流畅度的效果。

本发明的技术方案的第一方面为一种基于对象识别的远程操作界面交互方法，包括以下步骤：

S100、建立本地设备与远程主机之间的界面图像关联的接口和通道；

S200、通过对比算法，在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息，然后获取该分块对象及其自身的图元在图像库/缓冲区中的对应元素的ID；

S300、跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的位置及缩放的变换参数；

S400、根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行动态区域的图元的变换，并刷新界面图像；

S500、本地设备接收远程主机发送的图像、图元位置或图像库的ID数据，微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步。

进一步，所述步骤S200包括：根据所选的界面交互场景和/或当前运行的应用程序种类，以预设的划分方式划分所述分块对象，该预设的划分方式包含横分动态区域、列分动态区域、文字分离或矢量图分离、播放影像分离的方式。

进一步，在所述步骤S200中：首先识别整体的分块对象在图像库或缓冲区中的对应元素的ID，如果找不到对应的元素ID然后再识别分块对象内部的每个图元在图像库/缓冲区中的对应元素的ID；所述对比算法包括哈希对比算法或神经网络对比识别算法。

进一步，所述步骤S300包括：获取输入指令的事件和动作参数，判断与该指令的事件关联的分块对象或图元；将动作参数转换为对应的分块对象或图元的位置和缩放的变换参数，并且配置所述动作的执行时间与分块对象或图元的变换时间一致。