[发明专利]机器人过程自动化

权利要求书

1.一种用于处理图像的系统，包括一个或多个计算机和一个或多个存储设备，在所述存储设备上存储指令，所述指令在由所述一个或多个计算机执行时，可操作以使所述一个或多个计算机执行操作，所述操作包括：

在机器人训练过程期间检测控件选择事件，所述控件选择事件标识对计算机的显示器上描绘的控件的选择；

从存储器中取回第一图像和第二图像，所述第一图像和所述第二图像中的每个图像i)描绘所述显示器的一部分并且ii)在从所述控件选择事件发生的时间的阈值时间段内被捕获；

确定表示所述第一图像和所述第二图像之间的差异的差异图像；

响应于确定表示所述第一图像和所述第二图像之间的差异的所述差异图像，使用所述差异图像和所述控件选择事件的事件位置，确定所述差异图像中包括的像素的多种颜色，所述像素可能位于所述控件的控件位置之外；

响应于确定所述多种颜色，使用所述差异图像确定所述差异图像中描绘的一个或多个形状，所述一个或多个形状各自具有除了所述差异图像中包括的像素的所述多种颜色中的全部颜色之外的颜色，所述像素可能位于所述控件位置之外；

响应于确定所述一个或多个形状，从所述一个或多个形状并使用所述事件位置选择可能表示所述控件的特定形状；以及

在数据库中存储使用所述特定形状从两个或更多个图像之一提取的所述控件的裁剪图像。

2.根据权利要求1所述的系统，其中：

从所述存储器中取回所述第一图像和所述第二图像包括：从所述存储器中取回三个或更多个图像，所述三个或更多个图像各自i)描绘所述显示器的所述一部分并且ii)在从所述控件选择事件发生的时间的所述阈值时间段内被捕获时，所述三个或更多个图像包括所述第一图像和包括所述第二图像的两个或更多个第二图像；以及

确定表示所述第一图像和所述第二图像之间的差异的所述差异图像包括：

对于所述两个或更多个第二图像中的每一个第二图像，生成表示相应的所述第二图像和所述第一图像之间的差异的相应差异图像；以及

从所述两个或更多个差异图像中选择表示所述第一图像和所述两个或更多个第二图像之间的最大改变的所述图像作为所述差异图像。

3.根据权利要求2所述的系统，其中从所述存储器中取回所述三个或更多个图像包括：

从多个图像中确定在所述控件选择事件发生的时间一秒内被各自捕获的所述三个或更多个图像；以及

响应于确定在所述控件选择事件发生的所述时间的一秒内被各自捕获的所述三个或更多个图像，从所述存储器中取回所确定的所述三个或更多个图像。

4.根据权利要求2所述的系统，其中从所述存储器中取回所述三个或更多个图像包括：选择所述三个或更多个图像，所述三个或更多个图像各自在所述显示器上围绕所述事件位置描绘内容。

5.根据权利要求2所述的系统，其中从所述两个或更多个差异图像中选择表示所述第一图像和所述两个或更多个第二图像之间的最大改变的图像作为所述差异图像包括：从所述两个或更多个差异图像中选择具有表示来自所述第一图像和来自所述两个或更多个第二图像的相应的所述第二图像的对应像素中的差异的最大像素数量的所述图像作为所述差异图像。

6.根据权利要求1所述的系统，其中使用所述差异图像和所述控件选择事件的所述事件位置，确定所述差异图像中包括的可能位于所述控件的控件位置之外的像素的所述多种颜色包括：使用像素列和像素行中描绘的颜色来确定所述多种颜色，所述像素列和像素行各自a)包括来自所述差异图像的像素，并且b)与所述事件位置相交。

7.根据权利要求6所述的系统，其中使用所述像素列和所述像素行中描绘的所述颜色来确定所述多种颜色包括：选择(a)在所述像素列和所述像素行两者中出现的和(b)发生超过阈值次数的颜色作为所述多种颜色。