[发明专利]结合RPA及AI的元素截图方法以及装置

权利要求书

1.一种结合RPA及AI的元素截图方法，其特征在于，所述方法适用于机器人流程自动化RPA流程开发中，所述方法包括：

响应于元素截图事件的触发命令，定位所述元素截图事件的触发区域的元素代码位置信息；

根据所述元素代码位置信息，建立所述触发区域的坐标系；

根据所述坐标系进行所述触发区域内至少部分区域的截图操作。

2.根据权利要求1所述的方法，其特征在于，所述定位所述元素截图事件的触发区域的元素代码位置信息，包括：

获取所述触发区域在应用程序中所对应的源代码；

根据所述源代码识别所述触发区域所属的应用程序类型；

根据所述应用程序类型确定代码的上下级结构信息；

基于所述代码的上下级结构信息，定位所述元素截图事件的触发区域的元素代码位置信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述源代码识别所述触发区域所属的应用程序类型，包括：

基于人工智能AI技术对所述源代码进行自然语言处理NLP，以提取所述源代码的特征信息，并根据所述源代码的特征信息，识别所述触发区域所属的应用程序类型。

4.根据权利要求1所述的方法，其特征在于，所述根据所述元素代码位置信息，建立所述触发区域的坐标系，包括：

根据所述元素代码位置信息获取所述触发区域的宽度信息和高度信息；

根据所述宽度信息和高度信息，以所述触发区域的左上角作为原点，建立所述触发区域的坐标系。

5.根据权利要求1所述的方法，其特征在于，所述根据所述坐标系进行所述触发区域内至少部分区域的截图操作，包括：

响应于针对所述触发区域内至少部分区域的截图操作，基于所述触发区域的坐标系，获取所述至少部分区域的相对坐标信息；

根据所述触发区域的相对坐标信息和所述至少部分区域的相对坐标信息确定所述至少部分区域的位置信息，根据所述至少部分区域的位置信息控制RPA机器人对所述至少部分区域的操作截图。

6.根据权利要求2所述的方法，其特征在于，所述应用程序类型包括网页浏览器类型。

7.一种结合RPA及AI的元素截图装置，其特征在于，所述装置适用于机器人流程自动化RPA流程开发中，所述装置包括：

定位模块，用于响应于元素截图事件的触发命令，定位所述元素截图事件的触发区域的元素代码位置信息；

建立模块，用于根据所述元素代码位置信息，建立所述触发区域的坐标系；

截图操作模块，用于根据所述坐标系进行所述触发区域内至少部分区域的截图操作。

8.根据权利要求7所述的装置，其特征在于，所述定位模块包括：

获取单元，用于获取所述触发区域在应用程序中所对应的源代码；

识别单元，用于根据所述源代码识别所述触发区域所属的应用程序类型；

确定单元，用于根据所述应用程序类型确定代码的上下级结构信息；

定位单元，用于基于所述代码的上下级结构信息，定位所述元素截图事件的触发区域的元素代码位置信息。

9.根据权利要求8所述的装置，其特征在于，所述识别单元具体用于：

基于人工智能AI技术对所述源代码进行自然语言处理NLP，以提取所述源代码的特征信息，并根据所述源代码的特征信息，识别所述触发区域所属的应用程序类型。

10.根据权利要求7所述的装置，其特征在于，所述建立模块具体用于：

根据所述元素代码位置信息获取所述触发区域的宽度信息和高度信息；

根据所述宽度信息和高度信息，以所述触发区域的左上角作为原点，建立所述触发区域的坐标系。