[发明专利]机器人流程自动化方法

说明书

本发明涉及办公自动化领域，具体为机器人流程自动化方法，使用RPA技术录制用户的基本操作并生成测试用例，运行所述测试用例在信息系统中回放，将测试用例转换为自动化脚本；通过自动化脚本模拟信息系统来获取网页数据；通过人工判断方式对上述模拟操作进行巡检，通过巡检结果判断信息系统是否运行正常，再通过图像相似度比较与差异标记的方法，对浏览器页面中的图像特征与数据库中的图像特征进行对比判断；通过机器学习算法模拟人工判断方式得到判断结果的配置推荐；经过反复的训练和测试，最终建立起准确的操作规则库和判断规则库。本方法针对日常事务设定RPA操作，优化企业基础流程,收集并提取信息生成用户所需表单，自动化录入业务系统。

技术领域

本发明涉及办公自动化领域，具体为一种基于图像相似度比较与差异标记的机器人流程自动化方法。

背景技术

信息系统自动化运维应包括开发环境、测试环境、预发布环境、生产环境等，能够将部署包有效的部署到不同的环境，并具备日志管理、自动化监控以及告警响应等功能。目前，信息系统自动化运维主要存在以下问题：

现有信息系统需要使用浏览器来展现并办理业务，终端展现依赖于数据、css样式文件或js脚本文件与浏览器结合才能正确的展现业务，再通过检查服务器返回数据中的部分内容判断业务是否正常。该方法准确性低，并且不能检查到具体的服务节点；

系统在软件变更前的兼容性测试及变更后的全覆盖测试，实施工作量非常大，依靠人工方式耗时耗力；

目前信息系统发布前后的测试工作主要由一线客服人员承担，业界的自动化测试工作通常是在selenium基础上定制的工具，需要为各个业务编写测试特定的代码，而编写代码需要程序员支持，限制了自动化测试在一线人员客服的推广应用；

大量重复性的数据录入工作，例如4A平台的用户账号、授权维护只能在前台页面操作才能推送到集成的相关系统以及4A平台，而繁冗的录入工作依靠人工完成，耗时耗力，严重制约了自动化运维工作的开展。

若使用RPA（机器人流程自动化方法）优化自动化运维工作，由于现行的RPA应用软件执行结果确认是基于执行反馈的文本内容，对于复杂的web应用尤其具有多层iframe的页面，存在确认困难、不准确问题。

发明内容

针对现有的信息系统自动化运维工作存在的诸多问题，本发明提出一种基于图像相似度比较与差异标记的机器人流程自动化方法。

本发明的机器人流程自动化方法，针对浏览器中运行的信息系统，其特征在于该方法通过以下步骤实现：

1）RPA模拟人工操作：使用RPA技术录制用户的基本操作并生成测试用例，运行所述测试用例在信息系统中回放，将测试用例转换为自动化脚本；通过自动化脚本模拟信息系统来获取网页数据；

2）RPA模拟人工判断：通过人工判断方式对上述模拟操作进行巡检，通过巡检结果判断信息系统是否运行正常，再通过图像相似度比较与差异标记的方法，对浏览器页面中的图像特征与数据库中的图像特征进行对比判断；通过机器学习算法模拟人工判断方式得到判断结果的配置推荐；

3）操作规则库和判断规则库的建立：通过反复的操作训练和动作纠正，最终形成精准的操作特征，把一系列训练后的操作特征按照特定的顺序编排在一起，最终建立出特定的操作规则库；使用图像相似度比较与差异标记的方法，利用生物亲属关系整合图片中的判断结果，经过反复的训练和测试，最终建立起准确的判断规则库。

具体的，步骤2）中所述的图像相似度比较与差异标记的方法，采用FREAK算法对信息系统中的页面中的图片帧进行图像特征提取，并使用卷积算法提取图像边缘，并对图像进行平滑，模糊，去燥、锐化处理；应用左右两个孪生神经网络比对浏览器页面的图像特征和数据库内的图像特征，这两个神经网络分别将图像特征映射到新的空间，通过计算损失度评价两个输入的相似度，并标记图像特征的差异。