[发明专利]界面元素的捕获方法及电子设备、存储介质

说明书

本申请提供一种界面元素的捕获方法及电子设备、存储介质，所述方法包括：获取界面图像；通过已训练的前景检测和分类网络，得到界面图像的前景二值化图像和全景分类概率图；从前景二值化图像中提取每个界面元素对应的轮廓区域；根据全景分类概率图，确定界面图像中每个像素点的元素类别；针对每个轮廓区域，根据轮廓区域内每个像素点的元素类别，确定轮廓区域的最终元素类别。该方案采用图像识别的方法完成界面元素解析，效果稳定可靠，具有较高的通用性，且对应用程序完全无侵入。

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种界面元素的捕获方法及电子设备、计算机可读存储介质。

背景技术

机器流程自动化(Robotic process automation，RPA)技术中，对应用中的元素进行捕获，是完成流程自动化的关键技术。

传统元素捕获的方法，一般利用操作系统的底层API(应用程序接口)或者编程语言的特点进行界面元素解析，例如对于windows(以图形用户界面为基础研发的操作系统)原生的应用，可以通过底层UIA(UI Automation，微软提供的一套自动化接口)接口获取应用的元素属性和位置，网页可以解析html(Hyper Text Markup Language，即超文本标记语言)里面内容来确定界面结构和按钮的属性。

此方法准确度高，但不通用，而且对应用系统有一定的攻击性。如果操作系统升级或者迁移，就无法用原来的方法解析界面；如果界面开发编程时候用了一些自定的框架或者编程手法特殊，也是无法解析界面元素的。

发明内容

本申请实施例提供了一种界面元素的捕获方法，通过图像识别的方法完成界面元素的捕获，提高了方法的通用性，且不会对应用系统产生攻击。

本申请实施例提供了一种界面元素的捕获方法，所述方法包括：

获取界面图像；

通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和全景分类概率图；

从所述前景二值化图像中提取每个界面元素对应的轮廓区域；

根据所述全景分类概率图，确定所述界面图像中每个像素点的元素类别；

针对每个轮廓区域，根据所述轮廓区域内每个像素点的元素类别，确定所述轮廓区域的最终元素类别。

在一实施例中，所述通过已训练的前景检测和分类网络，得到所述界面图像的前景二值化图像和分类概率图，包括：

将所述界面图像输入已训练的前景检测和分类网络，获得所述前景检测和分类网络输出的前景概率图和全景分类概率图；

根据所述前景概率图以及二值化阈值，得到前景二值化图像。

在一实施例中，所述根据所述前景概率图以及二值化阈值，得到前景二值化图像，包括：

根据所述前景概率图指示的每个像素点属于前景像素点的概率值以及所述二值化阈值，将所述概率值大于等于所述二值化阈值的像素点作为前景像素点，将所述概率值小于所述二值化阈值的像素点作为背景像素点；

将所述前景像素点的像素值赋值为第一预设值，将所述背景像素点的像素值赋值为第二预设值，得到所述前景二值化图像。

在一实施例中，所述从所述前景二值化图像中提取每个界面元素对应的轮廓区域，包括：

针对所述前景二值化图像，通过轮廓提取算法，提取每个界面元素对应的轮廓区域。

在一实施例中，所述根据所述全景分类概率图，确定所述界面图像中每个像素点的元素类别，包括：