[发明专利]基于图像检测的定位方法与装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种基于图像检测的定位方法与装置。

背景技术

图形用户界面（Graphical User Interface，简称GUI）程序操作自动化主要应用在自动化测试中，自动替用户完成一些复杂的输入操作，降低用户的使用门槛。

GUI程序操作自动化最主要包括界面控件的定位和模拟用户操作两部分。其中模拟用户操作基本都是通过模拟windows输入事件完成，区别不大。界面控件的定位受界面实现方式不同的影响方法较多，主要分基于界面控件检测的定位和基于图像检测的定位。其中基于界面控件检测的方法要求界面引擎必须向外暴露接口，使得自动化程序能够获取到控件的句柄，并进一步获取控件的详细信息。当界面引擎不向第三方开放这些接口的时候就完全不可用了，比如基于非公开DirectUI引擎实现的应用程序。而基于图像检测的定位会解决基于界面控件检测的方法遇到的问题，可以不依赖界面引擎，完全基于最终的视觉效果来检测控件，与人眼识别更接近，也更智能。现有的基于图像检测的定位技术，通过预先截取操作过程中会出现的图像，然后在自动化测试过程中对软件运行时的界面进行截图，在整幅界面截图中搜索预先截取的图像来定位目标控件。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：现有的基于图像检测的定位的方法，基本都是把整个程序界面全部截取下来，然后在大图像中搜索预先截取的小图像。这种方法对图像的分辨率有较高的要求，要求程序运行时和预先截取图像时的分辨率(即尺寸)必须是一样的，否则图像被缩放后无法搜索。而且如果程序运行时出现了多个预先截取的控件的小图像时，这种方法是无法分辨到底哪个图像才是要寻找的目标控件的，因此现有的基于图像检测的定位方法应用场景的局限性较高。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种基于图像检测的定位方法及装置。所述技术方案如下：

一方面，提供了一种基于图像检测的定位方法，所述方法包括：

从程序运行的第一界面中截取目标控件的第一图像；

根据所述第一界面的布局，确定所述目标控件的布局参数；

根据所述程序当前运行的第二界面、所述第一界面和所述目标控件的布局参数，确定所述目标控件在所述第二界面的位置区域；

从所述目标控件在所述第二界面的位置区域截取所述目标控件的第二图像；

根据所述第一图像和所述第二图像，检测是否定位到所述目标控件。

另一方面，提供了一种基于图像检测的定位装置，所述装置包括：

截取模块，用于从程序运行的第一界面中截取目标控件的第一图像；

确定模块，用于根据所述第一界面的布局，确定所述目标控件的布局参数；

所述确定模块，还用于根据所述程序当前运行的第二界面、所述第一界面和所述目标控件的布局参数，确定所述目标控件在所述第二界面的位置区域；

所述截取模块，还用于从所述目标控件在所述第二界面的位置区域截取所述目标控件的第二图像；

检测模块，用于根据所述第一图像和所述第二图像，检测是否定位到所述目标控件。

本发明实施例的基于图像检测的定位方法及装置，通过从程序运行的第一界面中截取目标控件的第一图像；根据第一界面的布局，确定目标控件的布局参数；根据程序当前运行的第二界面、第一界面和目标控件的布局参数，确定目标控件在第二界面的位置区域；从目标控件在第二界面的位置区域截取目标控件的第二图像；根据第一图像和第二图像，检测是否定位到目标控件。本发明实施例的技术方案，能够克服现有技术中无法在程序界面运行时尺寸与预设尺寸不一致时寻找到目标控件的小图像的缺陷，能够准确定位目标控件在第二界面的位置区域，然后再具体从该位置区域截取目标控件在第二界面的第二图像，能够准确获取该目标控件在第二界面的图像，从而根据第一图像和第二图像检测是否定位到目标控件，因此，采用本发明实施例的技术方案，能够有效地扩大基于图像检测定位方法的应用场景。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的基于图像检测的定位方法的流程图；

图2为本发明实施例提供的界面布局示意图；