[发明专利]一种用于在图形用户界面中定位控件的方法和装置

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于在图形用户界面中定位控件的方法和装置。

背景技术

在软件的图形用户界面的自动化测试中，最为关键的一点就是在图形用户界面中定位某个控件的位置，并操作它。

在某些操作系统，如windows中，有些图形用户界面的控件是按该操作系统的标准控件来设计实现的，对于这些控件，可以通过系统工具，如spy++，来获取这些控件的句柄或控件属性，同时通过操作系统的底层应用程序编程接口获得到这个标准控件的定位及操作权。但随着时代发展，目前大多数的图形用户界面控件都是非标准控件，甚至是一些动态图形的控件，对于这些类型的控件，底层应用程序编程接口往往不能或者难以得到这个标准控件的定位及操作权。

另一种用于图形用户界面的自动化测试的技术是UI Automation（UIA），通过在测试代码中添加sleep硬编码或通过轮询机制监控控件的状态实现了控件状态的同步和等待机制，并且通过支持事件通知机制解决了控件状态反馈的问题。但是，这种技术不支持自定义控件，必须开发与自定义控件相应的控件标记，应用范围过窄。

还有一种用于图形用户界面的自动化测试的技术是使用图像md5算法对图形控件进行匹配来定位控件：首先获取控件的基准图片的md5值；再获取全屏图片，在整个图形用户界面中各像素点移动截取与基准图片相同大小的图片并计算其md5值；与基准图片的md5值进行匹配。然而，这种技术需要顺序遍历整个图形用户界面，导致判断的时间长且运算复杂、繁琐，而且在匹配判别过程存在很大误差，导致误判。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的用于在图形用户界面中定位控件的方法和装置。

依据本发明的第一方面，提供了一种用于在图形用户界面中定位控件的方法，包括步骤：获取控件的图像，以作为基准图像；对基准图像进行处理，以生成第一特征值；在图形用户界面中获取检测区域图像；对检测区域图像进行处理，以生成第二特征值；以及对第一特征值和第二特征值进行相似度计算，以确定控件在图形用户界面中的位置。

可选地，在根据本发明的实施例的用于在图形用户界面中定位控件的方法中，对基准图像进行处理，以生成第一特征值的步骤包括：检测基准图像在尺度空间的极值点；根据极值点，定位基准图像在尺度空间的关键点；为每个关键点指定方向参数，以生成相应于每个关键点的特征向量；以及根据特征向量，生成第一特征值。

可选地，在根据本发明的实施例的用于在图形用户界面中定位控件的方法中，在图形用户界面中获取检测区域图像的步骤包括：在图形用户界面中选择检测区域；在检测区域中获取检测区域图像。

可选地，在根据本发明的实施例的用于在图形用户界面中定位控件的方法中，其中控件是动态控件，且对检测区域图像进行处理，以生成第二特征值的步骤包括：确定动态控件的图像的循环变化周期；在每个周期内选取一个或多个时间点；对每个时间点的检测区域图像进行处理，以生成相应于各自时间点的第二特征值。

可选地，在根据本发明的实施例的用于在图形用户界面中定位控件的方法中，其中对检测区域图像进行处理，以生成第二特征值的步骤包括：检测检测区域图像在尺度空间的极值点；根据极值点，定位检测区域图像在尺度空间的关键点；为每个关键点指定方向参数，以生成相应于每个关键点的特征向量；以及根据特征向量，生成第二特征值。

可选地，在根据本发明的实施例的用于在图形用户界面中定位控件的方法中，其中时间点均匀分布或按特定算法分布。

可选地，在根据本发明的实施例的用于在图形用户界面中定位控件的方法中，其中对第一特征值和第二特征值进行相似度计算，以确定控件在检测区域中的位置的步骤包括：预先设定阈值；计算第一特征值和第二特征值的商；比较阈值与商，以确定用户界面控件在检测区域中的位置。

可选地，在根据本发明的实施例的用于在图形用户界面中定位控件的方法中，其中检测尺度空间的极值点的步骤包括：对图像进行灰度处理；对图像上的点进行高斯变换，以获得尺度轨迹曲线；检测尺度轨迹曲线的局部极值点，作为尺度空间的极值点。

可选地，在根据本发明的实施例的用于在图形用户界面中定位控件的方法中，其中第一特征值是基准图像的特征向量的欧式距离，且第二特征值是检测区域图像的特征向量的欧式距离。