[发明专利]结合RPA及AI的元素截图方法以及装置

说明书

本申请提出了一种结合RPA及AI的元素截图方法以及装置。其中，该方法包括：响应于元素截图事件的触发命令，定位所述元素截图事件的触发区域的元素代码位置信息；根据所述元素代码位置信息，建立所述触发区域的坐标系；根据所述坐标系进行所述触发区域内至少部分区域的截图操作。本申请提供的元素截图方法相较于传统人工处理方法，提高截图作业的效率，降低了人力成本，解决了截取的图片在分辨率不同的电脑上不一致的问题，降低了截图工作的操作难度。

技术领域

本申请涉及自动化技术领域，尤其涉及一种结合RPA及AI的元素截图方法以及装置。

背景技术

RPA(Robotic Process Automation，机器人流程自动化)是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。

AI(Artificial Intelligence，人工智能)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

随着时代的不断发展，一些公司当中需要截图操作的任务越来越多，常规软件的截图的实现方式是采用将当前屏幕进行图像生成。这种方式在RPA流程开发中不适用，其主要原因是开发完的RPA流程需要分发到不同的业务人员电脑上进行RPA的流程作业，而不同的电脑屏幕分辨率不同，会导致截取的图片无法一致，图片不一致会导致后续作业失败，这就导致截图工作不仅操作繁琐，而且浪费了大量的人力与时间。

发明内容

本申请提供了一种结合RPA及AI的元素截图方法以及装置，解决了截取的图片在分辨率不同的电脑上不一致的问题，降低了截图工作的操作难度，防止人力与时间的浪费。

根据本申请的第一方面，提供了一种结合RPA及AI的元素截图方法，所述方法适用于RPA(Robotic Process Automation，机器人流程自动化)流程开发中，所述方法包括：

响应于元素截图事件的触发命令，定位所述元素截图事件的触发区域的元素代码位置信息；

根据所述元素代码位置信息，建立所述触发区域的坐标系；

根据所述坐标系进行所述触发区域内至少部分区域的截图操作。

在本申请的一些实施例中，所述定位所述元素截图事件的触发区域的元素代码位置信息，包括：

获取所述触发区域在应用程序中所对应的源代码；

根据所述源代码识别所述触发区域所属的应用程序类型；

根据所述应用程序类型确定代码的上下级结构信息；

基于所述代码的上下级结构信息，定位所述元素截图事件的触发区域的元素代码位置信息。

可选地，在本申请的一些实施例中，根据所述源代码识别所述触发区域所属的应用程序类型，包括：

基于AI(Artificial Intelligence，人工智能)技术，提取所述源代码的特征信息，并根据所述源代码的特征信息，识别所述触发区域所属的应用程序类型。

在本申请的一些实施例中，根据所述元素代码位置信息，建立所述触发区域的坐标系，包括：

根据所述元素代码位置信息获取所述触发区域的宽度信息和高度信息；

根据所述宽度信息和高度信息，以所述触发区域的左上角作为原点，建立所述触发区域的坐标系。

在本申请的一些实施例中，所述根据所述坐标系进行所述触发区域内至少部分区域的截图操作，包括：

响应于针对所述触发区域内至少部分区域的截图操作，基于所述触发区域的坐标系，获取所述至少部分区域的相对坐标信息；