[发明专利]基于机器学习的UI元素定位方法及系统

说明书

本发明揭示了一种基于机器学习的UI元素定位方法及系统，所述方法包括：UI界面分解，提炼出待测试的UI元素；设计或者收集与待测试UI元素类似的一类UI元素；把每一类UI元素的部分作为训练数据，部分作为测试数据，训练数据进行监督式机器学习训练，测试数据进行验证，训练出UI元素模型；针对每类UI元素设计相应的测试脚本；将训练出的UI元素模型集成到UI元素自动识别系统中，并定期增加新的UI元素对模型进行训练，提高准确度；将每类UI元素的测试用例集成到UI元素自动识别系统，并定期维护测试脚本；UI测试时，将UI图片上传到UI元素系统，自动定位UI图片中的元素，并生成相应的测试脚本。本发明可提高定位的准确性及定位效率。

技术领域

本发明属于计算机软件技术领域，涉及一种UI元素定位方法，尤其涉及一种基于机器学习的UI元素定位方法及系统。

背景技术

UI元素是指应用程序里可以看见的任何可视元素，一些元素用来响应用户的操作，如按钮、文本字段，还有一些元素显示更多内容，如图像、标签等。针对UI元素定位，目前主要通过UI元素的文本字段、后台控件ID等方式进行定位。

现有UI元素定位方式存在如下缺陷：(1)UI元素均需要通过查阅后台代码或者指定文本字段进行定位；(2)UI界面随时可能更改，UI元素也可能发生调整，增加维护难度；(3)针对UI元素的测试需要手工方式(录制脚本或者自动化脚本)进行用例设计，维护成本比较高。

有鉴于此，如今迫切需要设计一种新的UI元素定位方式，以便克服现有UI元素定位方式存在的上述至少部分缺陷。

发明内容

本发明提供一种基于机器学习的UI元素定位方法及系统，可提高定位的准确性及定位效率。

为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：

一种基于机器学习的UI元素定位方法，所述方法包括：

把每一类UI元素的部分作为训练数据，部分作为测试数据，训练数据进行监督式机器学习训练，测试数据进行验证，训练出UI元素模型；将训练出的UI元素模型集成到UI元素自动识别系统中，并定期增加新的UI元素对模型进行训练；

UI界面分解，提炼出待测试的UI元素；

设计或者收集与待测试UI元素相似度超过设定阈值的UI元素；

针对每类UI元素设计相应的测试脚本；

将每类UI元素的测试脚本集成到UI元素自动识别系统，并定期维护测试脚本；

UI测试时，将UI图片上传到UI元素自动识别系统，通过图像分割算法自动分割出中UI图片中的UI元素，通过训练好的UI元素模型识别出UI元素，同时针对识别出的UI元素调用测试脚本模块生成相应的测试脚本。

作为本发明的一种实施方式，UI元素自动识别系统输出的结果为输入的UI图片包含的UI元素以及每个UI元素需要测试的测试脚本。

作为本发明的一种实施方式，UI界面分解采用阈值图像分割方法；将原始UI界面f(i,j)转化为输出图像g(i,j)；其中，T为阈值，对于UI元素g(i,j)＝1，对于UI界面背景元素g(i,j)＝0；

采用直方图双峰法(也称mode法)确认阈值T；对比明显的UI元素和背景在灰度直方图总呈双峰分布，选择两峰之间的谷对应的像素Zt作为阈值T。