[发明专利]基于用户界面的图像搜索方法

说明书

技术领域

本发明涉及计算机图像及软件测试技术领域，尤其涉及一种基于用户界面的图像搜索方法。

背景技术

作为软件测试自动化技术之一，图形图像识别是比较重要的一项内容，其是图形用户界面自动化测试过程中不可缺少的环节。在一些特殊情况下，准确的图像识别甚至可以作为自动化测试的支撑技术之一。因此实现准确的、可靠的、兼容性强的图像识别是一项必要且重要的工作。

一些自动化测试工具自带有图像验证的功能，根据其向导截取目标对象相对区域的图像，在测试回放过程中自动验证运行时对象指定区域图像与预期截取的图像是否一致。然而，通过这种方法不能获得目标图像的坐标和当前相同图像的数量；不能同时良好支持多类型操作系统和不同的硬件设备差异；不能调整误差值；且不能识别动态图片。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何在支持多类型操作系统和克服不同的硬件设备的差异的前提下，在计算机屏幕指定的区域内查找静态/动态目标图片的数量和位置。

(二)技术方案

为解决上述技术问题，本发明的技术方案提供了一种基于用户界面的图像搜索方法，包括：

S1：将基准图像和目标区域图像分别转换为像素矩阵；

S2：根据第一预置规则读取所述目标区域图像的像素矩阵，以及根据第二预置规则识别其中与所述基准图像的像素矩阵相匹配的子像素矩阵；

S3：将所述子像素矩阵对应的子图像标记为目标图像，计算其相对于所述目标区域的坐标，同时计数器加一；

S4：判断所述目标区域图像的像素矩阵是否已读取完毕；若是，则导出S3中记录的所有坐标和计数器累加值；若否，则返回S2。

进步一地，所述步骤S1还包括：将不同操作系统或硬件设备对同一图像的唯一截图作为基准图像预存于磁盘，通过调用与所述磁盘的路径向对应的XML标签获取所述基准图像。

其中，所述步骤S1中，使用java的JDK所提供的PixelGrabber类，将所述基准图像和目标区域图像分别转换为以RGB整型颜色值作为元素的像素矩阵。

进一步地，当所述基准图像为动态图像时，所述方法在步骤S1之前还包括：S0：将所述基准图像解析为若干帧静态图像；且所述方法在步骤S4之后还包括：S5：针对所述若干帧的静态图像逐帧依次执行所述步骤S2-S4。

其中，步骤S2中，所述第一预置规则为：以像素为单位，自上向下、自左向右、逐行读取所述目标区域图像的像素矩阵，直至待读取像素无法作为左上角元素构成一个子矩阵。

其中，步骤S2中，所述第二预置规则为：若以当前读取像素作为左上角元素的子像素矩阵与所述基准图像的像素矩阵的对应位置的元素RGB值的误差值M在一个预置的阈值范围内，则识别所述子像素矩阵与所述基准图像的像素矩阵相匹配。

其中，所述预置的阈值范围为M≤150。

进一步地，所述第二预置规则还包括：若所述基准图像为不完全透明，则从其像素矩阵中依次提取不透明的像素值，与目标区域图像中待比对的子矩阵中的对应元素进行匹配。

(三)有益效果

根据本发明的基于用户界面的图像搜索方法，可以在目标区域内查找静态或动态子图像，计算其坐标并统计其数量；根据本发明的方法可以兼容不同操作系统和硬件设备。

附图说明

图1是根据本发明的基于用户界面的图像搜索方法的流程图；

图2是根据本发明的基于用户界面的图像搜索方法的一个实施例的像素矩阵转换及图像匹配示意图。

具体实施方式

本发明提出的基于用户界面的图像搜索方法，结合附图和实施例说明如下。

如图1所示，本实施例的基于用户界面的图像搜索方法包括以下步骤：

S1：将基准图像和目标区域图像均转换为像素矩阵；

根据本发明的实施例，目标区域是指用户界面，例如，计算机屏幕上的指定区域；目标区域图像是指被测软件生成的图像在该指定区域内的截屏(屏幕截图，下文用Pic表示)；基准图像是被测软件在当前测试例下预期生成的图像，包括静态图像和动态图像，可以从已运行的被测软件中截取符合业务逻辑的图片作为基准图像，也可以将产品设计人员或界面设计人员等提供的设计图片作为基准图像，以实际需求为准。具体来说，默认情况下使用设计图片；当设计图片与特定计算机不能匹配一致，且通过人眼识别的判断差异在产品设计的允许范围内，则使用截图。