[发明专利]机器人过程自动化

说明书

包括在计算机存储介质上编码的计算机程序的方法、系统和装置，用于创建用于机器人自动化的用户界面控件图像。方法之一包括在训练过程期间检测控件选择事件；取回第一图像和第二图像；确定表示该第一图像和该第二图像之间的差异的差异图像；使用该差异图像，确定该差异图像中包括的像素的多种颜色，该像素可能位于该控件的控件位置之外；确定该差异图像中描绘的一个或多个形状，该一个或多个形状各自具有除了该多种颜色中的全部颜色之外的颜色；从该一个或多个形状中并使用该事件位置选择可能表示该控件的特定形状；以及存储从该两个或更多个图像之一提取的该控件的裁剪图像。

技术领域

本公开一般涉及机器人处理自动化。

背景技术

在计算机上执行的手动处理可能是重复且耗时的。例如用户可以发送电子邮件以响应网页表单提交，并且对于每个网页表单提交，可能需要手动与计算机交互以单击按钮以打开用于撰写新电子邮件的窗口，单击按钮以将网页表单提交中的信息复制到窗口中，单击按键以写入电子邮件正文的文本，然后单击按钮发送电子邮件。

发明内容

在一些实现中，机器人训练系统可以使用计算机视觉和用户界面组件分析来标识在机器人训练系统自动化的过程期间选择的用户界面控件，例如图标。机器人训练系统可以分析用户界面的多个图像之间的差异，以确定它们之间的相似性和差异，例如在至少两个图像之间。机器人训练系统可以使用差异和控件选择位置来确定所选择的用户界面中的控件的图像。

例如差异可能指示选择前后控件的颜色的改变。机器人训练系统可以使用用于颜色改变的信息来确定所选控件的位置。机器人训练系统可以使用所确定的位置来隔离例如由用户选择的控件。机器人训练系统可以从多个图像中的一个图像中提取控件的表示，以用于为该过程创建自动化脚本。

通常，本说明书中描述的主题的一个创新方面可以体现在包括以下动作的方法中：在机器人训练过程期间检测控件选择事件，该控件选择事件标识对计算机的显示器上描绘的控件的选择；从存储器中取回第一图像和第二图像，第一图像和第二图像各自i)描绘显示器的一部分并且ii)在从控件选择事件发生的时间的阈值时间段内被捕获；确定表示第一图像和第二图像之间的差异的差异图像；响应于确定表示第一图像和第二图像之间的差异的差异图像，使用差异图像和用于控件选择事件的事件位置，确定在差异图像中包括的像素的多种颜色，像素可能位于控件的控件位置之外；响应于确定多个颜色，使用差异图像确定差异图像中描绘的一个或多个形状，该一个或多个形状各自具有在差异图像中包括的像素的多种颜色中的颜色的全部颜色之外的颜色，该像素可能位于控件位置之外；响应于确定一个或多个形状，从一个或多个形状中并使用事件位置，选择可能表示控件的特定形状；并且在数据库中存储使用特定形状从两个或更多个图像中的一个提取的控件的裁剪图像。该方面的其他实施例包括记录在一个或多个计算机存储设备上的对应计算机系统、装置和计算机程序，计算机系统、装置和计算机程序各自被配置为执行方法的动作。一个或多个计算机的系统可以被配置为借助于在系统上安装软件、固件，硬件或它们的组合来执行特定操作或动作，其在操作中使系统执行动作。一个或多个计算机程序可以被配置为借助于包括当由数据处理装置执行时使装置执行动作的指令来执行特定操作或动作。