[发明专利]用户界面自动化中的自动锚点确定和目标图形元素标识

说明书

公开了用于用户界面(UI)自动化中的目标图形元素标识的自动锚点确定。基于上下文的机制有助于在重复的目标UI元素候选之间进行区分。更具体地，可以针对提供上下文并且在目标周围的区域中可见的目标UI元素确定并且自动添加附加锚点。在设计时间的期间，目标UI元素可以由设计器应用的用户指示并且对应的锚点可以被确定。当UI元素对被发现与目标锚点对具有相同或相似的特性和/或关系时，无需请求用户输入即可自动标识附加锚点。附加锚点可以从目标UI元素的半径内的UI元素中被选择。

相关申请的交叉引用

本申请要求于2020年11月20日提交的美国非临时专利申请第17/100,146号的权益。该较早提交的申请的主题通过引用整体并入本文。

技术领域

本发明总体上涉及用户界面(UI)自动化，更具体地涉及用于UI自动化中的目标图形元素标识的自动锚点确定。

背景技术

在基于计算机视觉(CV)的UI自动化中，应该在其上进行操作的UI元素(在本文中也被称为“图形元素”)的瞄准或定位(例如，由机器人过程自动化(RPA)机器人输入图形元素、点击按钮等)是使用锚点来完成的。在创建工作流时，开发人员在屏幕上指示目标图形元素。为了将目标图形元素的位置与其他类似的UI元素区分开来，锚点可以被使用。

然而，重复锚点的检测需要用户干预和手动输入。此外，锚点的选择可以因不同用户而异。因此，改进的方法可能是有益的。

发明内容

本发明的某些实施例可以提供对本领域中尚未被当前RPA技术完全标识、领会或解决的问题和需求的解决方案。例如，本发明的一些实施例涉及用于UI自动化中的目标图形元素标识的自动锚点确定。

在一个实施例中，一种计算机实现的方法包括：在设计时检查图像中的目标图形元素是否能够以至少一个置信度而被标识。当目标不能以至少一个置信度而被标识目标时，该计算机实现的方法还包括自动确定目标图形元素的邻近范围内的附加锚点并存储自动确定的附加锚点和目标图形元素以用于在运行时标识目标图形元素时使用。

在另一实施例中，非瞬态计算机可读介质存储用于在设计时在UI自动化中执行用于目标图形元素标识的自动锚点确定的程序。该计算机程序被配置为使至少一个处理器在设计时检查图像中的目标图形元素是否能够以至少一个置信度而被标识。当目标不能以至少一个置信度而被标识目标时，计算机程序还被配置为使至少一个处理器自动确定目标图形元素的邻近范围内的附加锚点并存储自动确定的附加锚点和目标图形元素以用于在运行时标识目标图形元素时使用。邻近范围由距目标图形元素的半径定义。

在又一实施例中，一种计算系统包括：存储用于在运行时在UI自动化中执行用于目标图形元素标识的自动锚点确定的计算机程序指令的存储器，以及被配置为执行计算机程序指令的至少一个处理器。计算机程序指令被配置为使至少一个处理器以：针对目标图形元素和先前针对目标图形元素确定的、与自动确定的锚点相匹配的一个或多个可见锚点进行搜索。计算机程序指令还被配置为使至少一个处理器以：使用一个或多个匹配可见锚点与目标图形元素之间的几何关系来标识UI中的目标图形元素。

在又一实施例中，一种计算系统包括存储用于在UI自动化中执行目标图形元素检测的计算机程序指令的存储器和被配置为执行该计算机程序指令的至少一个处理器。计算机程序指令被配置为使至少一个处理器以：针对目标图形元素和与与目标图形元素相关联的锚点相匹配的一个或多个可见锚点进行搜索。当在搜索中找到目标图形元素时，计算机程序指令被配置为使至少一个处理器使用一个或多个匹配可见锚点与目标图形元素之间的几何关系来标识用户界面中的目标图形元素。当在搜索中目标图形元素时未被找到时，计算机程序指令被配置为使至少一个处理器尝试补救动作以使得目标图形元素可见。