[发明专利]界面元素的捕获方法及电子设备、存储介质

权利要求书

1.一种界面元素的捕获方法，其特征在于，所述方法包括：

获取界面图像；

通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和全景分类概率图；

从所述前景二值化图像中提取每个界面元素对应的轮廓区域；

根据所述全景分类概率图，确定所述界面图像中每个像素点的元素类别；

针对每个轮廓区域，根据所述轮廓区域内每个像素点的元素类别，确定所述轮廓区域的最终元素类别。

2.根据权利要求1所述的方法，其特征在于，所述通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和分类概率图，包括：

将所述界面图像输入已训练的前景检测和分类网络，获得所述前景检测和分类网络输出的前景概率图和全景分类概率图；

根据所述前景概率图以及二值化阈值，得到前景二值化图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述前景概率图以及二值化阈值，得到前景二值化图像，包括：

根据所述前景概率图指示的每个像素点属于前景像素点的概率值以及所述二值化阈值，将所述概率值大于等于所述二值化阈值的像素点作为前景像素点，将所述概率值小于所述二值化阈值的像素点作为背景像素点；

将所述前景像素点的像素值赋值为第一预设值，将所述背景像素点的像素值赋值为第二预设值，得到所述前景二值化图像。

4.根据权利要求1所述的方法，其特征在于，所述从所述前景二值化图像中提取每个界面元素对应的轮廓区域，包括：

针对所述前景二值化图像，通过轮廓提取算法，提取每个界面元素对应的轮廓区域。

5.根据权利要求1所述的方法，其特征在于，所述根据所述全景分类概率图，确定所述界面图像中每个像素点的元素类别，包括：

根据所述全景分类概率图指示的所述界面图像中每个像素点属于不同元素类别的概率值，将概率值最大的元素类别作为所述像素点的元素类别。

6.根据权利要求1所述的方法，其特征在于，所述针对每个轮廓区域，根据所述轮廓区域内每个像素点的元素类别，确定所述轮廓区域的最终元素类别，包括：

针对每个轮廓区域，根据所述轮廓区域内每个像素点的元素类别，确定所述轮廓区域内每种元素类别对应的像素点数量；

将所述像素点数量最多的元素类别作为所述轮廓区域的最终元素类别。

7.根据权利要求1所述的方法，其特征在于，在所述通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和全景分类概率图之前，所述方法还包括：

获取训练样本集；所述训练样本集包括多张界面样本图像；所述界面样本图像中已标注出多个目标框以及每个目标框对应的元素类别；所述多个目标框所在区域标注为前景区域，所述界面样本图像中除所述前景区域以外的区域标注为背景区域；

根据所述界面样本图像的前景区域和背景区域，以及所述界面样本图像中每个目标框对应的元素类别，通过深度学习，训练得到所述前景检测和分类网络。

8.根据权利要求7所述的方法，其特征在于，在所述获取训练样本集之前，所述方法还包括：

将已知的64种界面元素按照视觉特征，划分为文本、图标、图像、滚动条、表格、下拉列表、按钮、日历控件这8种元素类别；所述训练样本集包括已标注出8种元素类别的多张界面样本图像。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-8任意一项所述的界面元素的捕获方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-8任意一项所述的界面元素的捕获方法。