[发明专利]一种元素定位方法及计算设备

说明书

本发明公开了一种元素定位方法，在计算设备中执行，包括步骤：获取包括待识别元素的特征区域图像；获取屏幕图像；将所述屏幕图像中的每个坐标点与特征区域图像中的每个坐标点的颜色值分别进行比对，以便确定所述屏幕图像中与所述特征区域图像相匹配的目标区域；以及根据所述目标区域在屏幕图像中的位置来确定所述特征区域图像在屏幕图像中的相对位置。本发明还一并公开了相应的计算设备。根据本发明的元素定位方法，匹配过程更加稳定，且匹配速度更快，提高了对元素的定位速度。

技术领域

本发明涉及自动化测试技术领域，特别涉及一种元素定位方法及计算设备。

背景技术

元素的定位是自动化测试的核心内容，无论是web自动化测试还是app自动化测试都存在元素定位不到的问题。

根据现有技术中的技术方案，基于Accessibility对Qt应用的元素控件添加ObjectName，利用Dogtail工具提供的方法定位元素控件。由于Dogtail寻找元素时会遍历树形结构里面的所有元素，从而导致元素定位速度慢。而且，Dogtail工具本身存在不稳定性，经常会出现找不到元素的情况。另外，当应用中存在无法添加ObjectName的元素时，只能通过索引的方式寻找元素，不利于自动化测试的维护。

还有一种方案，是采用Opencv提供的模板匹配技术，通过对比目标小图和屏幕大图，进而计算出小图在屏幕中的位置。这种方案，需要通过Opencv提供的imread函数来读取图片，而imread函数需要传入图片的路径，这样，必须要生成目标小图和屏幕大图的本地文件，导致匹配速度较慢，具有一定滞后性。

为此，需要一种元素定位方法来解决上述技术方案中存在的问题。

发明内容

为此，本发明提供一种元素定位方法，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供了一种元素定位方法，在计算设备中执行，包括步骤：获取包括待识别元素的特征区域图像；获取屏幕图像；将所述屏幕图像中的每个坐标点与特征区域图像中的每个坐标点的颜色值分别进行比对，以便确定所述屏幕图像中与所述特征区域图像相匹配的目标区域；以及根据所述目标区域在屏幕图像中的位置来确定所述特征区域图像在屏幕图像中的相对位置。

可选地，在根据本发明的元素定位方法中，将屏幕图像中的每个坐标点与特征区域图像中的每个坐标点的颜色值进行比对的步骤包括：遍历所述屏幕图像中的每个坐标点，如果所述屏幕图像中的坐标点与特征区域图像中的一个坐标点的颜色值相等，则：将所述屏幕图像中的坐标点对应的预定区域中的每个坐标点与所述特征区域图像中的相应的每个坐标点的颜色值进行比对，以确定所述预定区域是否与特征区域图像相匹配；如果预定区域与特征区域图像相匹配，则将该预定区域作为目标区域。

可选地，在根据本发明的元素定位方法中，确定预定区域是否与特征区域图像相匹配的步骤包括：如果所述预定区域中的每个坐标点与所述特征区域图像中的相应的每个坐标点的颜色值分别相等，则确定预定区域与所述特征区域图像相匹配；如果所述预定区域中的每个坐标点与所述特征区域图像中的相应的每个坐标点的颜色值不相等，则确定预定区域与所述特征区域图像不匹配。

可选地，在根据本发明的元素定位方法中，还包括步骤：如果所述屏幕图像中的坐标点与特征区域图像中的每个坐标点的颜色值均不相等，则将屏幕图像中的下一个坐标点与特征区域图像中的每个坐标点的颜色值进行比对。

可选地，在根据本发明的元素定位方法中，确定预定区域是否与特征区域图像相匹配的步骤还包括：确定匹配度；确定所述预定区域中与所述特征区域图像中颜色值相等的坐标点的数量与坐标点总数量的比值，判断该比值是否超过匹配度；如果所述比值超过匹配度，则确定该预定区域与所述特征区域图像相匹配；如果所述比值不超过匹配度，则确定该预定区域与特征区域图像不匹配。