[发明专利]一种界面元素识别方法及系统

说明书

本发明公开了界面元素识别方法及系统，该方法包括以下步骤：获取待识别界面的图像数据；通过视觉模型获取图像数据中的控件预测目标，视觉模型的获取方法为：在深度迁移学习过程中，对谷歌目标检测模型进行第一改进，并通过样本数据集训练第一改进后的谷歌目标检测模型，得到视觉模型；基于预设阈值对控件预测目标进行筛选，得到识别界面中的控件坐标。本发明至少具有以下有益效果：提高了界面识别元素的识别速度，且识别目标成功率和精度高，能有效防止漏检。

技术领域

本发明涉及人工智能的技术领域，特别涉及一种界面元素识别方法及系统。

背景技术

为了保证软件产品的质量，软件产品在发布之前都会进行大量的测试工作。在现有技术中，测试人员可以借助自动化测试工具或其它手段，对界面进行测试，以实现节约人力和降低时间成本。界面自动化测试最为重要的一件事情就是得到要界面可操作的元素，比如：可编辑文本框、下拉框，按钮等。完整快速地识别出页面元素是界面控件自动化测试的关键。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种界面元素识别方法，能够完整快速地识别出界面元素。

本发明还提出一种具有上述界面元素识别方法的界面元素识别系统。

本发明还提出一种具有上述界面元素识别方法的计算机可读存储介质。

根据本发明的第一方面实施例的界面元素识别方法，包括以下步骤：获取待识别界面的图像数据；通过视觉模型获取所述图像数据中的控件预测目标，所述视觉模型的获取方法为：在深度迁移学习过程中，对谷歌目标检测模型进行第一改进，并通过样本数据集训练第一改进后的所述谷歌目标检测模型，得到所述视觉模型；基于预设阈值对所述控件预测目标进行筛选，得到所述识别界面中的控件坐标。

根据本发明实施例的界面元素识别方法，至少具有如下有益效果：通过在谷歌目标检测模型上进行改进，通过训练使其能够识别界面元素，得到视觉模型，通过该视觉模型进行控件预测、筛选，得到控件坐标，提高了界面识别元素的识别速度，且识别目标成功率和精度高，能有效防止漏检。

根据本发明的一些实施例，所述在深度迁移学习过程中，对谷歌目标检测模型进行第一改进的方法包括：将所述谷歌目标检测模型的一个卷积核替换为两个卷积核，并将所激活函数替换换成线性修正激活函数RELU。

根据本发明的一些实施例，所述将所述谷歌目标检测模型的一个卷积核替换为两个卷积核包括：两个卷积核均为3×3，池化层的大小为2×2。

根据本发明的一些实施例，所述通过样本数据集训练第一改进后的所述谷歌目标检测模型，得到所述视觉模型的方法包括：遍历所述样本数据集的样本图像，通过八邻域算法提取边界，通过改变所述样本图像的亮度、分辨率、旋转度、扭曲和位移，拓展所述样本数据集。

根据本发明的一些实施例，所述在深度迁移学习过程中，对谷歌目标检测模型进行第一改进的方法还包括：拓展全连接层的规模，在训练过程中随机性移除训练网络的激活值，并通过多个神经网络组合，基于随机森林的方法，投票表决每一个图像对象的分类结果。

根据本发明的一些实施例，还包括：在深度迁移学习的过程中，根据学习速率，在原参数区间的范围内选取第一区间作为迭代训练的参数区间。

根据本发明的第二方面实施例的界面元素识别系统，包括：训练模块，用于在深度迁移学习过程中，对谷歌目标检测模型进行第一改进，并通过样本数据集训练第一改进后的所述谷歌目标检测模型，得到所述视觉模型；识别模块，用于通过视觉模型获取待识别界面的图像数据中的控件预测目标；筛选模块，用于基于预设阈值对所述控件预测目标进行筛选，得到所述识别界面中的控件坐标。