[发明专利]基于多粒度学习的软件界面元素检测方法、系统、计算机设备和存储介质

权利要求书

1.一种基于多粒度学习的软件界面元素检测方法，其特征在于，包括如下步骤：

步骤（1）、输入软件界面图像；

步骤（2）、利用卷积神经网络获取图像的特征，得到与原始图像具有相同尺寸的中间结果；

步骤（3）、对步骤（2）获取的特征进行多粒度网格化操作，得到若干组不同尺寸的图像网格；

步骤（4）、对于得到的图像网格，使用多粒度级联背景判别器对软件界面非控件背景网格区域进行标定，具体包括：

步骤（401）、输入划分好的多粒度网格图像；

步骤（402）、执行当前粒度下的第i级背景判别器，输出判别结果；

步骤（403）、根据结果判断每一个网格是否为背景网格：若是背景网格，则丢弃该网格；若是非背景网格且存在下一级判别器，则将该网格输入下一级判别器，转至步骤（402）；若是非背景网格且不存在下一级判别器，则保留该网格；

步骤（5）、将步骤（4）标定出的非背景网格，使用多粒度软件界面控件检测模型对软件界面元素进行检测，具体步骤如下：

步骤（501）、输入所有非背景网格；

步骤（502）、执行相应粒度下的控件判别器，判别器同时预测网格中包含的控件的类型和区域位置；

步骤（503）、将各个粒度下各个网格的预测结果进行投票，根据投票结果确定预测出的控件最终的类型和位置区域；

其中，多粒度软件界面控件检测模型包含了n个独立的子模型，分别用于不同粒度的网格；该子模型的输入是网格，输出分别是：网格中控件类型的预测结果class_i 和网格中控件所覆盖像素的中心(x,y)和长宽(h,w)；每个子模型的训练是独立进行的，其步骤如下：

001. 获取训练样本，样本是同样粒度划分好的网格数据，并且获得网格中的控件真实类型y，网格中控件的真实位置中心（true_x,true_y）和长宽（true_h,true_w）；

002. 输入训练网格，先经过一个特征提取层对网格进行特征提取；

003. 将步骤002提取的特征经过一个分类层，获得对多类的预测结果class_i，并且此结果会与网格的真实类别y产生一个分类损失cla_loss(class_i, y)；

004. 将步骤002提取的特征经过一个回归层，输出控件中心和长宽的四个值x,y,h,w，将其与网格中控件的真实中心、长宽产生一个回归损失reg_loss(x,y,h,w,true_x,true_y,true_h,true_w)；

005. 该模型的总体损失就是cla_loss+reg_loss，采用神经网络优化算法对损失进行优化，最终模型收敛得到训练完成的模型；

步骤（6）、输出检测出的控件类别和区域大小。

2.根据权利要求1所述的基于多粒度学习的软件界面元素检测方法，其特征在于，步骤（3）所述多粒度网格化的步骤如下：

步骤（301）、输入由深度卷积神经网络提取的特征；

步骤（302）、设定多粒度参数；

步骤（303）、按照参数设置，将特征等分为(a₁*b₁),(a₂*b₂),(a₃*b₃)……,(a_n*b_n)的网格，分别得到n组不同尺寸的图像网格，(a_n*b_n)代表网格化的图像大小。

3.根据权利要求1所述的基于多粒度学习的软件界面元素检测方法，其特征在于，步骤（6）所述输出检测出的控件类别和区域大小，具体是根据步骤（5）中得到的若干组class_i，（x,y）和（h,w），对其对应网格上像素的预测结果进行加权求和，得到最终的预测结果，即每个像素所覆盖的控件类型。