[发明专利]一种用户界面测试的方法、装置、电子设备及存储介质

说明书

本公开提供了一种用户界面测试的方法、装置、电子设备及存储介质。本公开包括：获取待测试图像，以及预设特效对应的预设颜色信息；根据预设颜色信息，对待测试图像进行识别，确定待测试图像中与预设特效对应的特效区域以及特效区域的轮廓信息；确定位于轮廓信息对应的轮廓内的点击位置序列；点击位置序列包括至少一个点击位置；在待测试图像上的至少一个点击位置上生成点击操作，以实现对目标对象的点击测试。本公开与现有图像识别算法通过对待检测用户界面控件截图的方式相比，通过图像颜色的使用，克服了分辨率对测试成功率的不良影响，解决了现有图像识别算法无法识别带有发光特效的用户界面控件的问题，提高了测试成功率。

技术领域

本公开涉及自动化测试技术领域，具体而言，涉及一种用户界面测试的方法、装置、电子设备及存储介质。

背景技术

目前，针对用户界面自动化测试，采用图像识别和OCR文字识别来定位待检测用户界面是较为流行的做法。然而，现有方案在识别过程中对截图的分辨率要求很高，在不同分辨率的情况下成功率不够稳定，尤其是当待检测的用户界面控件带有发光等特效时，采用图像识别算法无法识别到待检测用户界面控件，以至于无法有效地对带有发光等特效的控件进行测试。

发明内容

本公开实施例至少提供一种用户界面测试的方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种用户界面测试的方法，包括：

获取待测试图像，以及预设特效对应的预设颜色信息；所述待测试图像中包括目标对象，所述预设特效与所述目标对象关联；

根据所述预设颜色信息，对所述待测试图像进行识别，确定所述待测试图像中与所述预设特效对应的特效区域以及所述特效区域的轮廓信息；

确定位于所述轮廓信息对应的轮廓内的点击位置序列；所述点击位置序列包括至少一个点击位置；

在所述待测试图像上的至少一个点击位置上生成点击操作，以实现对所述目标对象的点击测试。

在一种可能的实施方式中，所述确定位于所述轮廓信息对应的轮廓内的点击位置序列，包括：

确定位于所述轮廓信息对应的轮廓内的至少一个预测点击区域；

分别计算每个所述预测点击区域对应的色彩单调度信息；

利用各个所述预测点击区域对应的色彩单调度信息，生成包括各个预测点击区域对应的点击位置的点击位置序列。

在一种可能的实施方式中，所述根据所述预设颜色信息，对所述待测试图像进行识别，确定所述待测试图像中与所述预设特效对应的特效区域以及所述特效区域的轮廓信息，包括：

根据所述待测试图像的尺寸信息，确定所述待测试图像中的待识别区域；

从所述待识别区域中识别出与所述预设颜色信息相匹配的至少一个特效子区域；

利用各个特效子区域与所述待识别区域的位置关系，确定所述待测试图像中与所述预设特效对应的特效区域以及所述特效区域的轮廓信息。

在一种可能的实施方式中，所述利用各个特效子区域与所述待识别区域的位置关系，确定所述待测试图像中与所述预设特效对应的特效区域以及所述特效区域的轮廓信息，包括：

分别确定各个所述特效子区域的轮廓面积和质心；

按照轮廓面积从大到小的顺序，将对应的所述特效子区域进行排序，并将前N个特效子区域作为候选特效子区域；其中，N为大于0的正整数；

将质心位于所述待识别区域内的候选特效子区域作为目标特效子区域；

将所述待测试图像中，包括各个目标特效子区域的区域作为所述特效区域，并确定所述特效区域的轮廓信息。