[发明专利]用户界面对象的识别方法及装置

权利要求书

1.一种用户界面对象的识别方法，其特征在于，包括：

获取用户界面UI对象与场景图像的对应点对集合，其中，所述对应点对集合用于记录对应点对，所述对应点对包括所述UI对象上的UI特征点和所述场景图像上与所述UI特征点对应的图像特征点，包括：按图像特征提取方式从所述UI对象上提取UI特征点得到UI特征点集合，并按所述图像特征提取方式从所述场景图像上提取图像特征点得到图像特征点集合；对所述UI特征点集合和所述图像特征点集合进行匹配，得到候选对应点对；将所述候选对应点对中满足目标匹配条件的对应点对记录到所述对应点对集合中，包括：确定所述候选对应点对中每个对应点对的斜率；将所述每个对应点对中所述斜率与目标斜率的差值小于目标斜率差的对应点对确定为满足所述目标匹配条件的对应点对；将所述满足目标匹配条件的对应点对记录到所述对应点对集合中；

根据所述对应点对的数量在所述场景图像上识别第一区域，其中，所述第一区域为在场景图像上与所述UI对象对应的候选区域；

在所述第一区域满足目标区域条件的情况下，根据所述第一区域和所述UI对象的尺寸缩放比例对所述第一区域进行校准，得到目标区域，其中，所述目标区域为识别出的在所述场景图像上与所述UI对象对应的区域。

2.根据权利要求1所述的方法，其特征在于，根据所述对应点对的数量在所述场景图像上识别所述第一区域包括：

在所述对应点对的数量大于或者等于第一数量的情况下，根据所述图像特征点在所述场景图像上的位置识别所述第一区域；和/或，

在所述对应点对的数量小于第一数量的情况下，根据从所述UI对象上提取出的UI特征点的数量在所述场景图像上识别所述第一区域。

3.根据权利要求2所述的方法，其特征在于，根据所述图像特征点在所述场景图像上的位置识别所述第一区域包括：

在所述图像特征点中确定第一图像特征点和第二图像特征点；

在所述场景图像上确定所述第一图像特征点与第二图像特征点之间连线的中点；

根据所述第一图像特征点和所述第二图像特征点在所述场景图像上的位置确定所述第一区域相对于所述UI对象的缩放比例，并根据所述缩放比例和所述UI对象的尺寸确定目标尺寸；

以所述中点为中心在所述场景图像上扩展出所述目标尺寸的区域作为所述第一区域。

4.根据权利要求3所述的方法，其特征在于，根据所述第一图像特征点和所述第二图像特征点在所述场景图像上的位置确定所述第一区域相对于所述UI对象的缩放比例，并根据所述缩放比例和所述UI对象的尺寸确定目标尺寸包括：

在所述第一图像特征点与所述第二图像特征点之间的连线与所述场景图像的边缘平行的情况下，确定所述第一区域相对于所述UI对象的缩放比例为1，并确定所述目标尺寸为所述UI对象的尺寸；和/或，

在所述第一图像特征点与所述第二图像特征点之间的连线与所述场景图像的边缘不平行的情况下，将第一距离与第二距离的比值确定为所述缩放比例，并确定所述目标尺寸为所述UI对象的尺寸与所述缩放比例的乘积，其中，所述第一距离为所述第一图像特征点与所述第二图像特征点之间的距离，所述第二距离为所述第一图像特征点对应的UI特征点与所述第二图像特征点对应的UI特征点之间的距离。

5.根据权利要求3所述的方法，其特征在于，在所述第一数量为2的情况下，在所述图像特征点中确定第一图像特征点和第二图像特征点包括：

在所述对应点对的数量为2的情况下，将所述图像特征点中的一个图像特征点确定为所述第一图像特征点，并将所述图像特征点中的另一个图像特征点确定为所述第二图像特征点；

在所述对应点对的数量为3的情况下，将所述图像特征点中的任意一个图像特征点确定为所述第一图像特征点，并将所述图像特征点中的另外两个图像特征点之间连线的中点确定为所述第二图像特征点；

在所述对应点对的数量大于3的情况下，将所述图像特征点中距离最远的两个图像特征点确定为所述第一图像特征点和所述第二图像特征点。