[发明专利]控件识别方法及装置

权利要求书

1.一种控件识别方法，其特征在于，包括：

获取页面中包含的所有控件的第一属性信息；

判断所述第一属性信息中是否包含有待识别控件的第二属性信息；

若所述第一属性中未包含所述待识别控件的第二属性信息，则采用预设的图像匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件；

若所述第一属性中包含有所述待识别控件的第二属性信息，则采用与所述第二属性信息相匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件。

2.根据权利要求1所述的控件识别方法，其特征在于，所述采用预设的图像匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件包括：

对所述页面进行截图，得到第一图像；

采用基于像素的图像匹配算法从所述第一图像中查找与预设的第二图像相匹配的第一区域，其中，所述第二图像为包含所述待识别控件的图像；

若采用基于像素的图像匹配算法未找到与所述第二图像相匹配的第一区域，则采用基于特征点的图像匹配算法从所述第一图像中查找与所述第二图像相匹配的第二区域，并将满足预设条件的第二区域作为包含所述待识别控件的区域。

3.根据权利要求2所述的控件识别方法，其特征在于，所述若采用基于特征点的图像匹配算法从所述第一图像中查找与所述第二图像相匹配的第二区域，并将满足预设条件的第二区域作为包含所述待识别控件的区域包括：

若采用基于像素的图像匹配算法未从所述第一图像中找出与所述第二图像的第一相似度值大于预设阈值的第一区域时，采用基于特征点的图像匹配算法从所述第一图像中找出与所述第二图像相匹配的第二区域；

分别根据所述第二区域与所述第二图像包含的多个特征点构建对应的特征点矩阵；

计算所述第二区域的特征点矩阵与所述第二图像的特征点矩阵的归一化方差，并将所述归一化方差作为所述第二区域与所述第二图像的第二相似度值；

若所述第二相似度值大于第二预设阈值，则将所述第二区域作为包含所述待识别控件的区域。

4.根据权利要求3所述的控件识别方法，其特征在于，所述采用基于特征点的图像匹配算法从所述第一图像中找出与所述第二图像相匹配的第二区域包括：

分别对所述第一图像与所述第二图像进行特征提取，得到特征点；

采用基于特征点的图像匹配算法从所述第一图像中的特征点中找到与所述第二图像中的特征点相匹配的特征点对；

判断找出的特征点对数量是否大于预设值；

若所述特征点对数量大于所述预设值，则根据找到的特征点对确定所述第一图像与所述第二图像相匹配的第二区域。

5.根据权利要1所述的控件识别方法，其特征在于，所述待识别控件具有标识信息，所述采用与所述第二属性信息相匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件包括：

若所述第二属性信息中包含有所述待识别控件的标识信息，则采用标识信息匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件，其中，所述标识信息用于唯一标识不同的控件。

6.根据权利要求5所述的控件识别方法，其特征在于，所述待识别控件中包含有文本信息，所述采用与所述第二属性信息相匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件还包括：

若所述第二属性信息中包含有所述待识别控件的文本信息，则采用文本信息匹配的控件识别方式对所述页面中包含的控件进行识别，以识别出所述页面中包含的所述待识别控件，其中，所述文本信息用于唯一标识不同的控件。