[发明专利]使用屏幕截图元数据确定应用测试结果

说明书

系统生成由测试应用的目标设备显示的应用的图形用户界面(GUI)的屏幕截图。每一个屏幕截图包括GUI的图像和指示存在于图像中的GUI的元素或在生成图像时的应用或目标设备的状态的元数据。系统基于来自第一屏幕截图集合的屏幕截图的元数据和来自第二屏幕截图集合的屏幕截图的元数据来确定屏幕截图是否相似，并且如果是，则系统将来自第二屏幕截图集合的屏幕截图指派至包括来自第一屏幕截图集合的屏幕截图的聚类。系统输出对指示屏幕截图之间的相似度或差异的聚类的指示(例如，通知或图形指示)。

背景技术

在向终端用户发布应用之前，软件开发者或设计者可以测试应用以了解应用在由目标设备提供的执行环境中执行时将如何显现和运行。一些这样的软件测试可以涉及使用测试系统在由各种不同目标设备提供的各种不同执行环境中运用应用。也就是说，测试系统可以生成对应用的输入，所述输入模拟可以由用户提供的输入(例如手势输入、文本输入或其他输入)。测试系统可以使用闪存有或以其他方式加载有测试器定义的软件和/或固件配置的实际生产设备，从而能够跨可由不同终端用户使用的大范围设备和设备配置来测试应用。

作为测试结果，测试系统可以输出在应用测试期间应用导致的在目标设备上显示的图形用户界面(GUI)的屏幕截图。测试系统可以针对运用应用的每个执行环境输出屏幕截图集合并且每一个屏幕截图集合可以具有大量图像。软件开发者或设计者可以跨不同集合分析屏幕截图以识别问题、异常或以其他方式了解GUI的外观可能如何根据执行环境和/或显示GUI的目标设备的变化而改变。一些软件开发者或设计者可能会承担过多的人工筛选多个屏幕截图集合以验证应用的设计和操作的任务。

发明内容

本公开的技术总体上涉及使应用测试系统能够识别和聚类在应用的自动测试期间生成的相似的屏幕截图，即使应用测试系统跨大范围的不同目标设备和/或在各种不同执行环境中执行自动测试。本公开提供了一种能够有效且高效地执行图像的复杂聚类的测试系统和相关联的方法，从而减少处理时间和功耗并提供可靠的、反应灵敏的测试系统。本公开使得能够实现这种聚类的结果的快速且有效的输出，从而允许对大范围和大量不同目标设备的有效的、自动的测试，所述大范围和大量不同目标设备可以是测试场(test farm)的一部分。确定屏幕截图是否是相似的可以包括评估相似度函数以确定指示屏幕截图之间的相似度的量的相似度分值并且确定相似度分值高于、低于或等于预定阈值。应用测试系统可以基于相似度的某些结构阈值对相似的屏幕截图进行分组，而不是根据特定图像特征对屏幕截图进行分组。也就是说，应用测试系统使用与屏幕截图相关联的元数据而不是分析屏幕截图的图像数据来对相似的屏幕进行聚类或分组。

在对应用的自动测试期间生成的屏幕截图可以包括在自动测试期间，在目标设备执行应用时，正在目标设备的显示屏幕上显示的应用图形用户界面(GUI)的图像(例如，像素信息)。屏幕截图可以还包括指示构成图像中的GUI的结构元素的元数据。元数据可以定义在生成屏幕截图时在目标设备的显示屏幕上并且在GUI中可见的一个或多个GUI元素(例如布局、按钮、背景、抽屉或侧边栏或GUI的另一组件)以及对应的元素特性。另外或替换地，元数据可以定义在生成屏幕截图时的目标设备的状态(例如，设备类型、方向、本地环境、时间、测试执行以及目标设备或应用的任何其他参数或特性)。元数据还可以包括针对在特定屏幕截图被拍摄时存在于设备屏幕上的每一个GUI元素的元素标识符。针对每一个GUI元素的元素标识符可以基于类名、资源标识符以及与该特定GUI元素相关联的序列。可以通过将序列中的每个层与相应的资源id和类名进行映射来创建元素标识符，从而产生以使得聚类模块能够跨设备配置比较GUI元素的方式来识别GUI元素的更特定的方式。