[发明专利]控件识别方法及装置

说明书

本申请公开了一种控件识别方法。该方法包括：获取页面中包含的所有控件的第一属性信息；判断所述第一属性信息中是否包含有待识别控件的第二属性信息；若所述第一属性中未包含所述待识别控件的第二属性信息，则采用预设的图像匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件；若所述第一属性中包含有所述待识别控件的第二属性信息，则采用与所述第二属性信息相匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件。本申请可提高控件识别的准确度。

技术领域

本申请涉及测试技术领域，尤其涉及一种控件识别方法及装置。

背景技术

开发人员在开发出移动终端的应用程序(Application，App)的人机交互界面(User Interface，UI)之后，通常需要对UI进行测试，测试UI是否能够实现预设功能。一个UI通常由多个控件元素组成，在UI测试过程中，需要识别UI的控件元素。现有技术中，通常是通过控件元素的身份标识(ID)、名称以及类型进行识别；或者基于控件在屏幕上的可扩展标记语言路径语言(Xml Path Language，XPath)的绝对路径与相对路径进行识别。其中，XPath是一种用来确定可扩展标记语言(Extensible Markup Language，XML)文档中某部分位置的语言。XPath使用路径表达式来选取XML文档中的节点或者节点集，路径表达式是从一个XML节点(当前的上下文节点)到另一个节点、或一组节点的书面步骤顺序。

然而，发明人发现，现有技术在测试App的UI时，各种控件识别方法在面对多种测试场景时，无法准确识别UI的控件元素。

发明内容

有鉴于此，现提供一种控件识别方法、装置、计算机设备及计算机可读存储介质，以解决现有技术中在测试App的UI时无法准确识别UI的控件元素的问题。

本申请提供了一种控件识别方法，包括：

获取页面中包含的所有控件的第一属性信息；

判断所述第一属性信息中是否包含有待识别控件的第二属性信息；

若所述第一属性中未包含所述待识别控件的第二属性信息，则采用预设的图像匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件；

若所述第一属性中包含有所述待识别控件的第二属性信息，则采用与所述第二属性信息相匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件。

可选地，所述采用预设的图像匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件包括：

对所述页面进行截图，得到第一图像；

采用基于像素的图像匹配算法从所述第一图像中查找与预设的第二图像相匹配的第一区域，其中，所述第二图像为包含所述待识别控件的图像；

若采用基于像素的图像匹配算法未找到与所述第二图像相匹配的第一区域，则采用基于特征点的图像匹配算法从所述第一图像中查找与所述第二图像相匹配的第二区域，并将满足预设条件的第二区域作为包含所述待识别控件的区域。

可选地，所述若采用基于特征点的图像匹配算法从所述第一图像中查找与所述第二图像相匹配的第二区域，并将满足预设条件的第二区域作为包含所述待识别控件的区域包括：

若采用基于像素的图像匹配算法未从所述第一图像中找出与所述第二图像的相似度值大于预设阈值的第一区域时，采用基于特征点的图像匹配算法从所述第一图像中找出与所述第二图像相匹配的第二区域；

分别根据所述第二区域与所述第二图像包含的多个特征点构建对应的特征点矩阵；