[发明专利]用户界面对象的识别方法及装置

说明书

本发明公开了一种用户界面对象的识别方法及装置。其中，该方法包括：获取用户界面UI对象与场景图像的匹配对应点对集合，其中，匹配对应点对集合用于记录匹配对应点对，匹配对应点对包括UI对象上的UI特征点和场景图像上与UI特征点匹配对应的图像特征点；根据匹配对应点对的数量在场景图像上识别第一区域，其中，第一区域为在场景图像上与UI对象对应的候选区域；在第一区域满足目标区域条件的情况下，根据第一区域和UI对象的尺寸缩放比例对第一区域进行校准，得到目标区域，其中，目标区域为识别出的在场景图像上与UI对象对应的区域。本发明解决了对用户界面UI对象的识别效率较低的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种用户界面对象的识别方法及装置。

背景技术

目前的图像匹配技术主要包括模板匹配和特征匹配两种，模板匹配是在场景图中平行移动UI对象图，找到与UI对象图尺寸、方向、像素相似的区域，特征匹配是通过提取图像中的特征点，对特征点进行匹配，然后进行映射，定位匹配的区域。以上两种方法都不能直接应用于应用程序(比如游戏)的自动化识别，应用程序中场景的复杂性和多样性是UI对象识别效率低的直接原因。

现有的基于模板匹配的方法，受尺度、光照、形变影响，局限性大，在应用程序自动化识别中适应性差。特征匹配方法难以解决特征点较少的图像匹配问题，同时误匹配率高。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种用户界面对象的识别方法及装置，以至少解决对用户界面UI对象的识别效率较低的技术问题。

根据本发明实施例的一个方面，提供了一种用户界面对象的识别方法，包括：获取用户界面UI对象与场景图像的对应点对集合，其中，所述对应点对集合用于记录对应点对，所述对应点对包括所述UI对象上的UI特征点和所述场景图像上与所述UI特征点对应的图像特征点；根据所述对应点对的数量在所述场景图像上识别第一区域，其中，所述第一区域为在场景图像上与所述UI对象对应的候选区域；在所述第一区域满足目标区域条件的情况下，根据所述第一区域和所述UI对象的尺寸缩放比例对所述第一区域进行校准，得到目标区域，其中，所述目标区域为识别出的在所述场景图像上与所述UI对象对应的区域。

根据本发明实施例的另一方面，还提供了一种用户界面对象的识别装置，包括：获取模块，用于获取用户界面UI对象与场景图像的对应点对集合，其中，所述对应点对集合用于记录对应点对，所述对应点对包括所述UI对象上的UI特征点和所述场景图像上与所述UI特征点对应的图像特征点；识别模块，用于根据所述对应点对的数量在所述场景图像上识别第一区域，其中，所述第一区域为在场景图像上与所述UI对象对应的候选区域；校准模块，用于在所述第一区域满足目标区域条件的情况下，根据所述第一区域和所述UI对象的尺寸缩放比例对所述第一区域进行校准，得到目标区域，其中，所述目标区域为识别出的在所述场景图像上与所述UI对象对应的区域。

可选地，所述识别模块包括：第一识别单元，用于在所述对应点对的数量大于或者等于第一数量的情况下，根据所述图像特征点在所述场景图像上的位置识别所述第一区域；和/或，第二识别单元，用于在所述对应点对的数量小于第一数量的情况下，根据从所述UI对象上提取出的UI特征点的数量在所述场景图像上识别所述第一区域。

可选地，所述第一识别单元包括：第一确定子单元，用于在所述图像特征点中确定第一图像特征点和第二图像特征点；第二确定子单元，用于在所述场景图像上确定所述第一图像特征点与第二图像特征点之间连线的中点；第三确定子单元，用于根据所述第一图像特征点和所述第二图像特征点在所述场景图像上的位置确定所述第一区域相对于所述UI对象的缩放比例，并根据所述缩放比例和所述UI对象的尺寸确定目标尺寸；扩展子单元，用于以所述中点为中心在所述场景图像上扩展出所述目标尺寸的区域作为所述第一区域。