[发明专利]基于多粒度学习的软件界面元素检测方法、系统、计算机设备和存储介质

说明书

本发明公开了一种基于多粒度学习的软件界面元素检测与定位方法、系统、计算机设备和存储介质，本发明首先获得操作界面图像；将图像输入深度卷积神经网络提取特征，得到同等尺寸的中间结果；将中间结果进行网格化划分；输入多粒度级联背景判别器，检测器会以网格为单位对中间图像进行背景网格的检测；剔除背景网格后，将剩余的网格部分输多粒度的软件界面元素检测模型进行软件界面元素检测，输出所要检测的控件类型和区域大小。本发明所提出的多粒度级联的背景网格检测装置能够快速有效的找出背景网格，且提高了软件界面元素检测定位的效率和准确度。

技术领域

本发明涉及一种基于多粒度的软件界面元素检测方法、系统、计算机设备和存储介质，属于自动化软件辅助技术领域。

背景技术

软件界面元素自动检测是软件智能化的关键技术。软件智能化及一些软件辅助领域中需要能够对软件界面元素进行自动检测，然而随着软件界面的更新迭代和软件界面元素种类的不断丰富，控件自动检测的复杂度也在不断增加。

在软件开发测试的过程中，也需要对软件的界面进行检测，即检测软件的界面是否与设计图中的软件界面一致。目前主要需要依靠测试人员依靠肉眼去检测软件的界面是否与设计图中的软件界面一致，效率低且受人为因素影响，容易出错。因此，在用户使用过程中，对于软件界面元素自动检测有着非常高的有效性和实时性要求。

发明内容

本发明所要解决的技术问题是：针对软件界面元素自动检测有较高的时效性和准确性要求，利用软件界面图像，自动检测软件界面中控件的位置和类型，快速筛选出需要判别的图像区域，即快速剔除无用的背景图像区域，有效生成最终的控件类型和区域的预测结果。

本发明为解决上述技术问题采用以下技术方案：

本发明首先提出一种基于多粒度学习的软件界面元素检测方法，包括如下步骤：

步骤（1）、输入软件界面图像；

步骤（2）、利用卷积神经网络获取图像的特征，得到与原始图像具有相同尺寸的中间结果；

步骤（3）、对步骤（2）获取的特征进行多粒度网格化操作，得到若干组不同尺寸的图像网格；

步骤（4）、对于得到的图像网格，使用多粒度级联背景判别器对软件界面非控件背景网格区域进行标定；

步骤（5）、将步骤（4）标定出的非背景网格，使用多粒度软件界面控件检测模型对软件界面元素进行检测；

步骤（6）、输出检测出的控件类别和区域大小。

进一步的，本发明提出一种基于多粒度学习的软件界面元素检测方法，步骤（3）所述多粒度网格化的步骤如下：

步骤（301）、输入由深度卷积神经网络提取的特征；

步骤（302）、设定多粒度参数；

步骤（303）、按照参数设置，将特征等分为(a₁*b₁),(a₂*b₂),(a₃*b₃)……,(a_n*b_n)的网格，分别得到n组不同尺寸的图像网格，(a_n*b_n)代表网格化的图像大小。

进一步的，本发明提出一种基于多粒度学习的软件界面元素检测方法，步骤（4）所述多粒度级联背景判别器对软件界面非控件背景网格区域进行标定，具体为：

步骤（401）、输入划分好的多粒度网格图像；

步骤（402）、执行当前粒度下的第 i级背景判别器，输出判别结果；