[发明专利]用户界面自动化中的自动锚点确定和目标图形元素标识

权利要求书

1.一种用于用户界面自动化的计算机实现的方法，包括：

在设计时检查图像中的目标图形元素是否能够以至少一个置信度而被标识；以及

当所述目标图形元素不能以所述至少一个置信度而被标识时：

自动确定所述目标图形元素的邻近范围内的附加锚点，以及

存储自动确定的所述附加锚点和所述目标图形元素以用于在运行时标识所述目标图形元素时使用。

2.根据权利要求1所述的计算机实现的方法，其中

所述目标图形元素的所述标识至少部分地使用计算机视觉CV和自动确定的所述附加锚点中的至少一个附加锚点与所述目标图形元素之间的几何关系的组合而被执行，以及

所述几何关系包括一个或多个线段长度、一个或多个角度，或者两者。

3.根据权利要求1所述的计算机实现的方法，还包括：

针对所述目标图形元素指定主要锚点；以及

仅当所述目标图形元素和指定的所述主要锚点之间的关系没有唯一地标识所述目标图形元素时，才自动确定所述附加锚点。

4.根据权利要求3所述的计算机实现的方法，其中所述主要锚点的指定是自动执行的。

5.根据权利要求1所述的计算机实现的方法，其中所述邻近范围由距所述目标图形元素的半径定义。

6.根据权利要求1所述的计算机实现的方法，其中在运行时，所述方法还包括：

针对所述目标图形元素和与自动确定的所述附加锚点相匹配的一个或多个匹配可见锚点进行搜索；以及

使用所述一个或多个匹配可见锚点和所述目标图形元素之间的几何关系来标识所述目标图形元素。

7.根据权利要求1所述的计算机实现的方法，其中当自动确定的在所述目标图形元素的邻近范围内的所述附加锚点没有引起对所述目标图形元素的标识时，所述方法还包括：

扩展所述邻近范围并且自动确定在扩展的所述邻近范围内的一个或多个锚点。

8.根据权利要求1所述的计算机实现的方法，还包括：

当所述目标图形元素没有被标识时，提示用户进行输入。

9.根据权利要求1所述的计算机实现的方法，其中具有多于预先确定的量的空白空间的锚点候选被忽略，或者其中在所述目标图形元素和相应的所述锚点候选之间存在多于预先确定的量的空白空间的锚点候选被忽略。

10.根据权利要求1所述的计算机实现的方法，其中自动确定的锚点的子集被用以在运行时标识所述目标图形元素。

11.根据权利要求1所述的计算机实现的方法，其中在运行时，一次尝试一个自动确定的所述附加锚点，直到所述目标图形元素被标识或者所有自动确定的所述附加锚点已经被尝试而没有成功标识所述目标图形元素。

12.根据权利要求1所述的计算机实现的方法，其中在运行时，自动确定的所述附加锚点的子集在所述图像中是可见的。

13.根据权利要求1所述的计算机实现的方法，其中自动确定的所述附加锚点中的一个或多个锚点位于与所述目标图形元素不同的应用窗口中。

14.根据权利要求1所述的计算机实现的方法，还包括：

针对所述目标图形元素指定主要锚点；

使用机器学习ML模型检测包括指定的所述主要锚点的窗口；以及

在检测到的所述窗口中标识自动确定的所述附加锚点的匹配可见锚点。

15.根据权利要求1所述的计算机实现的方法，还包括：

针对所述目标图形元素指定强制性主要锚点；以及

要求对所述强制性主要锚点进行检测以便检测所述目标图形元素。