[发明专利]一种兼容客户端界面元素与网页页面元素的定位和解析方法

说明书

本申请提供一种兼容客户端界面元素与网页页面元素的定位方法，包括S1、选择目标界面元素；S2、获取该界面元素所属的应用程序主窗体，生成窗体定位；S3、获取目标界面元素的应用类型，生成应用类型定位；S4、获取目标界面元素所属的控件，生成控件定位；S5、根据窗体定位、应用类型定位和控件定位，生成该界面元素的定位。通过本发明，描述了界面元素的完整定位信息，满足了多窗体元素数据交换的定位需求。

技术领域

本发明涉及机器人流程自动化技术领域，具体地，本发明涉及一种兼容客户端界面元素与网页页面元素的定位和解析方法。

背景技术

机器人流程自动化(RPA，Robotic Process Automation)是以机器人作为虚拟劳动力，依据预先设定的程序与现有用户系统进行交互并完成预期的任务。RPA借助一些能够自动执行的脚本(这些脚本可能是某些工具生成的，这些工具也可能有着非常有好的用户化图形界面)完成一系列原来需要人工完成的工作，但凡具备一定脚本生成、编辑的工具称为设计器，具有执行脚本能力的工具在此处都可以称之为机器人。比如，在游戏领域被广泛为人所熟知的国产软件“按键精灵”，即可以通过它的一些简单功能帮助我们完成一些自动化的工作。按键精灵的简要工作原理是通过录制操作者的鼠标和键盘的动作步骤形成操作脚本(用户也可以不用录制的方式，完全手工编写脚本)，这里的脚本是可以修改的，用户可以根据需要修改脚本的参数，比如鼠标点击的位置、键盘输入的值，再次运行脚本的时候就会重新执行录制过程中的这些动作，如果脚本的参数有修改，则会执行对应的调整后的动作。

脚本的生成与编辑通常可以通过图形化的界面或相对专业的脚本编辑器完成，这里的脚本业务完全不是程序员所面对的那种代码。当然现今各大软件厂商推出的RPA工具在功能丰富度上、场景的针对性上强很多，但其核心逻辑并没有本质的差异。

RPA产品实现自动化从类型上大致可以分为桌面应用/浏览器应用/其它(Mainframe/Java等)，其过程就是将人工操作的流程，照样子，用程序实现出来，为的是方便复用这组操作。其中，对操作元素的定位是一个非常重要的基础，都是先定位，后操作。

元素定位是通过拾取器来进行的，但现实中拾取器有多种，比如：CS拾取、UIA拾取、图片拾取、区域拾取、Java拾取、IE拾取(Web)、Chrome和Firefox拾取、CV拾取等，操作人员依据应用软件判断开发技术类型，针对不同的类型选择拾取器。主要应用对象有三类，也就是自动化的操作对象：系统system，客户端软件client，浏览器browser。

系统工具(文件资源管理器)：CS拾取、UIA拾取；

客户端软件(native app)：CS拾取(windows软件)、UIA拾取(windows软件)、Java拾取(java类客户端)等；

浏览器应用(web app)：IE拾取、Chrome拾取、Firefox拾取。

这些拾取在环境改变时需要转换，才能取到所需要的元素，也即定位到所需要的元素。这些拾取器所用到的界面元素选择定位技术归纳如下：

(1)基于特定属性的定位表示方法。这种方法依赖ID或指定几个属性，描述元素特征。这种方法特点是简单、效率高，适应用界面结构层次单一、属性稳定不变的场景。

(2)基于XPath语法描述元素层次关系的方法。利用界面元素的层次、兄弟关系建立复杂的元素层次关系，这种方法的具有很强的单窗体或单页面元素的定位描述能力。

这些技术存在以下问题：