[发明专利]RPA定位控件元素的组合定位系统、方法、设备及介质

说明书

本发明公开了一种RPA定位控件元素的组合定位系统、方法、设备及介质，本方案通过第一级定位器和至少一个第二级定位器结合的方式以到达适应目标软件灵活多变的情况下仍能精准定位目标元素的功能，增加定位器定位功能的普遍适应性，通过灵活的组合方式能提高定位准确性、提高定位效率。而且本发明中的第二级定位器根据选取的已定位的参考控件元素和待定位的目标控件元素之间相对不变化的特征，然后基于已定位的参考控件元素和相对不变化的特征对待定位的目标控件元素进行定位，相较于相关的方案，在目标软件界面发生变化时，仍然能够达到准确的定位效果。

技术领域

本发明涉及RPA软件流程自动机器人技术领域，特别涉及一种RPA定位控件元素的组合定位系统、方法、设备及介质。

背景技术

RPA(Robotic Process Automation 机器人流程自动化)是一种新型的人工智能的虚拟流程自动化机器人，能够代替或者协助人类在计算机、手机等数字设备中完成重复性工作任务。VBA（Visual Basic for Applications，宏语言）是基于微软的软件开发平台Visual Basic产生的一种宏语言，是在Windows桌面应用程序中执行通用自动化（OLE）任务的一类编程语言。VBA是典型的宏编程语言应用。宏（英文为Macro）由一些独立命令组合在一起，解释器或编译器在遇到宏语言时会进行解析，将这些小命令或动作转化为一系列指令。Lisp（List Processing）类语言也具有非常精巧的宏系统，其构建的语法结构能够提供非常强大的抽象能力和自动化运行机制。

从一开始用于实现定时开关系统、日志处理、文档定时复制的批处理脚本和触发器形成了RPA的第一阶段。接着随Word、Excel等软件大量使用诞生了VBA，通过可视化的图形编程界面和面向对象的程序开发思路可以很方便地将重复性的动作自动化（如对Excel中每个单元格的数据进行转录和格式调整等操作）。从2015年开始RPA开始真正成型，多家RPA公司共同创新和努力形成了当前阶段RPA主要的产品形态，其核心创新形态为通过运用可视化流程拖拽设计以及操作记录等技术来构建流程的方式代替依赖编程构造的自动化流程的传统方式，对控件操作模块高度封装复用的同时大大降低了RPA软件用户操作门槛，可使得不具有IT行业背景的普通用户配置符合属于自己实际工作流程的RPA软件机器人，从而RPA在产业中大范围应用和落地。

现阶段的RPA定位器主要包括路径定位器，位置定位器和图像定位器；其中，1）路径定位器：在配置阶段根据将要操作的控件相对于其所在的目标软件界面层次结构作为定位信息，在运行阶段根据记录的定位信息从目标窗体结构中查找对应的控件；2）位置定位器：根据将要操作的控件相对于软件主界面左上角偏移位置（x,y）作为定位信息，在运行阶段获取目标软件界面该偏移位置的控件；3）图像定位器：对将要操作的控件进行截图保存作为定位信息，在运行阶段通过图像查找获取控件截图在目标软件界面的位置，从而获取该位置的控件。但在目标软件界面发生变化时，容易发生如下情况：1）路径定位器：当目标软件窗体层次结构因展示内容会更新发生变化后，导致目标控件在窗体结构中层次与设计器配置的路径层次不一致而无法对目标控件进行定位；2）位置定位器：当目标控件大小位置发生稍微变化后，导致该控件相对于软件窗体界面的位置与设计器阶段配置的相对位置不一致而无法对目标控件进行定位；3）图像定位器：当控件展示效果（颜色、大小、文字）发生变化后，导致该控件截图与设计器该控件截图不一致而无法对目标控件进行定位。

根据相关方案，现阶段的RPA定位器存在较大的局限性，通常在目标软件界面发生变化时无法达到准确的定位效果。而且现阶段的RPA定位器通常是单独实现定位功能，定位效率和精确度较低。

发明内容

本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种RPA定位控件元素的组合定位系统、方法、设备及介质。

本发明的第一方面，提供了一种RPA定位控件元素的组合定位系统，所述组合定位系统包括：

一个第一级定位器，用于定位出控件元素；