[发明专利]一种RPA流程自动化录制控制方法及系统

权利要求书

1.一种RPA流程自动化录制控制方法，其特征在于，应用到前置初始化模块、AI智能窗口识别模块和连续录制模块；

前置初始化模块实时获取鼠标键盘信息，实时显示鼠标在屏幕上的绝对坐标，并且高亮显示鼠标目前所选择的对象所包含的区域以明确区分目标操作对象及其他对象；

AI智能窗口识别模块接收前置初始化模块中鼠标键盘传入的消息参数，以及鼠标目前所选择的对象所包含的区域参数，通过控件参数及操作系统API接口解析出窗口句柄对应的类名，然后通过解析类名来判定窗口类型，再对比连续录制模块所能处理的应用类型库，给出判断结果，将结果传给前端向用户展示，并将其作为输出参数传给连续录制模块；

连续录制模块结合前置初始化模块和AI智能窗口识别模块提供的参数识别操作目标，通过内置的UI元素分析功能自动分析提取目标元素的特征和属性，若窗口类型为IE浏览器类型、Java窗口类型、chrome浏览器类型则采用窗口对应的API接口来实现对元素的定位和操作，若窗口类型为Win32窗口类型需要先通过系统API接口获取窗口面积，并通过MSAA及UIA两种技术对元素解析，对比两种技术解析、计算得到元素区域面积，将面积较小的值与Win32窗口的面积进行对比，如果小于Win32窗口的面积，则确定目标控件元素是包含在Win32窗口中，元素特征为MSAA及UIA技术解析结果，如果等于Win32窗口的面积，则元素判定为窗口本身，元素特征为系统API解析结果，将所得结果保存为临时数据，再根据用户操作消息导向自动选择连续录制模块的执行路线。

2.根据权利要求1所述的一种RPA流程自动化录制控制方法，其特征在于，鼠标在屏幕上的绝对坐标具体通过设置区域放大镜显示，区域放大镜指放大鼠标所处位置的一块具有一定空间形状的区域。

3.根据权利要求1所述的一种RPA流程自动化录制控制方法，其特征在于，高亮显示鼠标目前所选择的对象所包含的区域具体通过：

采用高频截屏加双缓存技术，第一时间获取到鼠标及鼠标当前指向的控件信息，在内存中进行预处理，处理完一部分就展示一部分到屏幕上。

4.根据权利要求1所述的一种RPA流程自动化录制控制方法，其特征在于，连续录制模块在保存临时数据完成一次录制操作后，挂起不返回录制结果，等待用户操作消息，循环执行录制步骤，直到接收到用户停止录制消息，返回用户按时间线顺序执行的录制结果。

5.一种RPA流程自动化录制控制系统，其特征在于，包括前置初始化模块、AI智能窗口识别模块和连续录制模块；

前置初始化模块实时获取鼠标键盘信息，实时显示鼠标在屏幕上的绝对坐标，并且高亮显示鼠标目前所选择的对象所包含的区域以明确区分目标操作对象及其他对象；

AI智能窗口识别模块接收前置初始化模块中鼠标键盘传入的消息参数，以及鼠标目前所选择的对象所包含的区域参数，通过控件参数及操作系统API接口解析出窗口句柄对应的类名，然后通过解析类名来判定窗口类型，再对比连续录制模块所能处理的应用类型库，给出判断结果，将结果传给前端向用户展示，并将其作为输出参数传给连续录制模块；

连续录制模块结合前置初始化模块和AI智能窗口识别模块提供的参数识别操作目标，通过内置的UI元素分析功能自动分析提取目标元素的特征和属性，若窗口类型为IE浏览器类型、Java窗口类型、chrome浏览器类型则采用窗口对应的API接口来实现对元素的定位和操作，若窗口类型为Win32窗口类型需要先通过系统API接口获取窗口面积，并通过MSAA及UIA两种技术对元素解析，对比两种技术解析、计算得到元素区域面积，将面积较小的值与Win32窗口的面积进行对比，如果小于Win32窗口的面积，则确定目标控件元素是包含在Win32窗口中，元素特征为MSAA及UIA技术解析结果，如果等于Win32窗口的面积，则元素判定为窗口本身，元素特征为系统API解析结果，将所得结果保存为临时数据，再根据用户操作消息导向自动选择连续录制模块的执行路线。