[发明专利]基于机器学习的UI元素定位方法及系统

权利要求书

1.一种基于机器学习的UI元素定位方法，其特征在于，所述方法包括：

把每一类UI元素的部分作为训练数据，部分作为测试数据，训练数据进行监督式机器学习训练，测试数据进行验证，训练出UI元素模型；将训练出的UI元素模型集成到UI元素自动识别系统中，并定期增加新的UI元素对模型进行训练；

UI界面分解，提炼出待测试的UI元素；

设计或者收集与待测试UI元素相似度超过设定阈值的UI元素；

针对每类UI元素设计相应的测试脚本；

将每类UI元素的测试脚本集成到UI元素自动识别系统，并定期维护测试脚本；

UI测试时，将UI图片上传到UI元素自动识别系统，通过图像分割算法自动分割出中UI图片中的UI元素，通过训练好的UI元素模型识别出UI元素，同时针对识别出的UI元素调用测试脚本模块生成相应的测试脚本。

2.根据权利要求1所述的基于机器学习的UI元素定位方法，其特征在于：

UI元素自动识别系统输出的结果为输入的UI图片包含的UI元素以及每个UI元素需要测试的测试脚本。

3.根据权利要求1所述的基于机器学习的UI元素定位方法，其特征在于：

UI界面分解采用阈值图像分割方法；将原始UI界面f(i,j)转化为输出图像g(i,j)；其中，T为阈值，对于UI元素g(i,j)＝1，对于UI界面背景元素g(i,j)＝0；

采用直方图双峰法(也称mode法)确认阈值T；对比明显的UI元素和背景在灰度直方图总呈双峰分布，选择两峰之间的谷对应的像素Zt作为阈值T。

4.根据权利要求1所述的基于机器学习的UI元素定位方法，其特征在于：

训练UI元素模型时，基于UI元素识别的特点，采用监督式学习算法，接收已知的输入数据集合(x1，x2,...,xn,训练集)和已知的对数据的响应(y1,y2,...,yn,输出结果)，然后训练出一个模型M，为新输入数据(x1’,x2’,...xn’,测试集)生成合理的预测结果(y1’,y2’,...,yn’)；同时为提高UI元素模型的鲁棒性，模型训练过程中会加入少量噪声数据z；

UI元素模型训练中，每一类UI元素随机选择设定数量的UI元素作为训练数据，选择设定数量的UI元素作为噪音数据，选择设定数量的UI元素作为测试数据。

5.根据权利要求1所述的基于机器学习的UI元素定位方法，其特征在于：

所述UI元素包括登录、个人中心、注册、借款、还款、会员、购物车。

6.根据权利要求1所述的基于机器学习的UI元素定位方法，其特征在于：

在训练UI元素模型时，把每一类UI元素的2/3作为训练数据，1/3作为测试数据。

7.一种基于机器学习的UI元素定位系统，其特征在于，所述系统包括：

模型训练模块，用以把每一类UI元素的部分作为训练数据，部分作为测试数据，训练数据进行监督式机器学习训练，测试数据进行验证，训练出UI元素模型；将训练出的UI元素模型集成到UI元素自动识别系统中，并定期增加新的UI元素对模型进行训练；

UI界面分解模块，用以提炼出待测试的UI元素；

UI元素获取模块，用以设计或者收集与待测试UI元素相似度超过设定阈值的UI元素；

测试脚本设计模块，用以针对每类UI元素设计相应的测试脚本；

UI元素集成模块，用以将每类UI元素的测试脚本集成到UI元素自动识别系统，并定期维护测试脚本；

UI元素定位模块，用以UI测试时将UI图片上传到UI元素自动识别系统，通过图像分割算法自动分割出中UI图片中的UI元素，通过训练好的UI元素模型识别出UI元素，同时针对识别出的UI元素调用测试脚本模块生成相应的测试脚本。

8.根据权利要求7所述的基于机器学习的UI元素定位系统，其特征在于：

所述UI界面分解模块提炼的UI元素包括登录、个人中心、注册。

9.根据权利要求7所述的基于机器学习的UI元素定位系统，其特征在于：

所述模型训练模块把每一类UI元素的2/3作为训练数据，1/3作为测试数据。