[发明专利]一种RPA流程自动化录制控制方法及系统

说明书

本发明公开了一种RPA流程自动化录制控制方法及系统，应用到前置初始化模块、AI智能窗口识别模块和连续录制模块；前置初始化模块实时获取鼠标键盘信息，实时显示鼠标在屏幕上的绝对坐标，并且高亮显示鼠标目前所选择的对象所包含的区域以明确区分目标操作对象及其他对象；AI智能窗口识别模块接收鼠标键盘传入的消息参数，以及区域参数，分析窗口元素所对应的应用类型，并将其作为输出参数传给连续录制模块；连续录制模块结合前置初始化模块和AI智能窗口识别模块提供的参数识别操作目标，通过内置的UI元素分析功能自动分析提取目标元素的特征和属性，保存为临时数据，再根据用户操作消息导向自动选择连续录制模块的执行路线。

技术领域

本发明涉及智能窗口类型识别、连续录制技术领域，特别涉及一种RPA流程自动化录制控制方法及系统。

背景技术

RPA技术又叫流程自动化技术，使用RPA软件的流程编辑器，设计和开发出能够自动处理工作流程的机器人软件。机器人可以部署到目标平台或系统当中，实现模拟人工完成一系列指定流程操作。比如操作浏览器、桌面应用、电子表格、邮件等各类信息化办公软件，模拟点击、模拟输入、操作系统资源管理器等。有效替代人工处理繁复、单一操作流程的同时，无需对原生平台或系统进行改造，极大降低了使用门槛，使企事业或个人在不改变原有业务模式的前提下，高效的实现降本增效。在针对编程零基础的用户方面，目前的RPA厂商引入了录制模块这样一种功能模块，目的是通过录制操作过程的方式，将用户的操作直接转化成计算机可以识别的可复用的代码块，而不需要用户掌握复杂的编程语言和思维，从而降低了RPA软件的使用门槛，使软件本身更加易用。

现有的RPA录制控制模块，启动之后会先进入弹窗选择界面，用户选择操作对象类型及相应的操作方法后，录制控制模块会启动录制初始化，初始化完成后即进入用户操作监听环节，待用户完成录制操作，按照初始化前选择的对象类型及方法，返回录制结果并回到弹窗选择界面。（即一次完整的录制过程，每次录制操作完成后都要返回到弹窗选择界面）完成全部录制操作后，点击保存即可生成对应的代码块。当用户点击运行代码块，就会按照用户先前录制的操作步骤，自动执行一次相同的操作。

录制初始化：当前领域内，录制初始化包含捕获监测键盘鼠标消息初始化（实时获取鼠标、键盘消息），屏幕高频截屏加双缓存初始化（能够在不影响鼠标、键盘操作，并且不会对屏幕显示的任何元素进行操作的情况下，定位到目标元素），且只有录制初始化之后才能进行录制操作。

录制操作：接收键盘鼠标实时消息，结合用户初始化前选择的操作对象类型及方法，定位到操作目标，同时使用UIA（用户界面自动化）、MSAA（微软活动辅助功能）技术，分析并获取目标特征属性后，按照特定的格式返回结果。完成录制操作后需要返回录制初始化前的窗口（操作选择界面）。

由此，上述现有的RPA流程自动化录制控制模块相关技术存在以下缺点：

1、操作对象类型选择及方法在录制初始化之前就要选定（即初始化滞后）；

2、录制控制模块实际录制操作过程过于繁琐，影响录制流畅性、增加耗时。

还有传统RPA的录制功能，对录制操作有较高要求，需要录制操作步骤不能过多，过于复杂，这样才能体现录制控制模块的便捷性、易用性。但是在大部分场景下，用户面对的操作需求都是冗长且复杂的，甚至会遇到一些无法录制的窗口或元素，如某些基于Java（一门面向对象编程语言）开发的应用程序。这种情况下，要使用录制控制模块来开发流程，就要保证录制效率及流畅性，例如：当用户移动鼠标时，能够实时让用户感知当前鼠标指向的元素或窗口是否能被录制。同时还需要让整个录制过程更加流畅，例如：只要用户不改变录制操作方法，例如：接下来的操作都是使用鼠标左键单击这一方法，用户只需选择一次操作方法，就可以对当前屏幕上任意可录制对象进行一系列录制操作，当确定结束录制操作时，这些录制操作会依照用户的操作顺序，以鼠标左键单击的操作方式，返回成指定格式的代码块。现有的RPA领域均未考虑到使用这种技术架构来实现录制控制模块。

发明内容