[发明专利]一种移动应用程序GUI智能测试方法及系统

说明书

本发明涉及一种移动应用程序GUI智能测试方法及系统，该方法包括：根据打图形元素标签的GUI截图训练目标检测模型；根据同时打图形元素标签和交互标签的GUI交互事件序列训练深度强化学习模型；获取移动应用程序当前状态的GUI截图；根据训练完成的目标检测模型，获得打图形元素标签的当前状态的GUI截图；检测图形元素标签中是否存在GUI缺陷；根据训练完成的深度强化学习模型，获得打图形元素标签和交互标签的当前状态的GUI截图；根据打图形元素标签和交互标签的当前状态的GUI截图，施加操作动作到被操作的图形元素，更新移动应用程序的状态；根据深度强化学习模型中奖励函数判断是否停止测试。本发明提高了移动应用程序GUI自动化测试的自动化水平及效率。

技术领域

本发明涉及移动应用测试技术领域，特别是涉及一种移动应用程序GUI智能测试方法及系统。

背景技术

图形用户界面(GUI)测试的传统方法通常需要测试人员手动编写大量测试用例，涉及许多机械和重复的工作，既费时又费力。并且，即使对GUI进行很小的更改也会影响整个测试套件，可能使原始测试用例失效。当前由于GUI上的大量交互以及移动应用程序的日益复杂，实际上不可能生成足够的测试用例覆盖所有的GUI测试。传统的移动应用GUI测试的主要挑战有：移动应用的快速升级迭代，操作系统的快速更新，以及设备和屏幕分辨率的多样性。因此，需要更加高效的测试方法来满足移动应用程序的测试需求。

目前，研究人员已开始将深度学习技术应用到GUI测试领域，李元春等人提出了Humanoid，一种基于深度学习的自动化Android应用程序测试方法，可从人类生成的交互事件序列中学习测试序列生成。DavidAdamo等人提出了一种基于强化学习的Android应用程序GUI自动测试方法，使用基于Q-learning的测试生成算法选择事件并解释被测应用程序的GUI。Yavuz Koroglu等人提出了FARLEAD-Android，使用强化学习生成满足给定线性时序逻辑规范的测试。然而这些方法没有识别定位GUI图形元素，无法像测试人员一样准确地对图形元素进行操作，可能会误操作到无效区域，造成测试冗余，并且这些方法并未对GUI缺陷做出检测和分类，影响了测试用例自动生成的效率和质量。

发明内容

基于此，本发明的目的是提供一种移动应用程序GUI智能测试方法及系统，提高了测试自动化水平及效率。

为实现上述目的，本发明提供了如下方案：

一种移动应用程序GUI智能测试方法，所述方法包括：

获取移动应用程序的多个GUI截图；

通过标签工具为各GUI截图打图形元素标签，获得各打图形元素标签的GUI截图；所述图形元素标签包括所述GUI截图上图形元素的边界框定位和类别；

以所述GUI截图为输入，以所述打图形元素标签的GUI截图为输出训练目标检测算法，获得训练完成的目标检测模型；

获取人工交互的GUI交互事件序列，所述GUI交互事件序列包括一系列连续交互的GUI截图；

将所述GUI交互事件序列输入所述训练完成的目标检测模型，获得打图形元素标签的GUI交互事件序列；

为各所述打图形元素标签的GUI交互事件序列打交互标签，获得各打图形元素标签和交互标签的GUI交互事件序列；所述交互标签包括交互的操作动作和被操作的图形元素；

以所述打图形元素标签的GUI交互事件序列为输入，以打图形元素标签和交互标签的GUI交互事件序列为输出训练深度强化学习算法，获得训练完成的深度强化学习模型；

获取移动应用程序当前状态的GUI截图；

将所述当前状态的GUI截图输入所述训练完成的目标检测模型，获得打图形元素标签的当前状态的GUI截图；