[发明专利]触摸屏测试方法、装置、系统及存储介质

说明书

本发明提供一种触摸屏测试方法、装置、系统及存储介质，该方法包括：实时获取显示于待测设备的触摸屏中的第一图像数据；根据测试任务的配置信息，获取待操作控件的特征数据，并根据特征数据确定第一图像数据中是否存在待操作控件；确定第一图像数据中存在待操作控件，则根据该操作控件的图像坐标获取对应的控件实际坐标；控制机械臂的执行末端移动至控件实际坐标，对待测设备的触摸屏执行第一操作；获取显示于待测设备的触摸屏中的第二图像数据，根据第二图像数据确定测试任务的测试结果。本发明不依赖于UI控件属性，而通过机器视觉实时对触摸屏界面的控件进行精准定位，模拟人工操作的同时提高了测试效率。

技术领域

本发明涉及产品测试技术领域，尤其涉及一种触摸屏测试方法、装置、系统及存储介质。

背景技术

目前，市面上的触摸屏类电子产品种类繁多，功能丰富，其系统版本迭代更新速度快。对这类触摸屏类产品进行自动化测试，通常是通过获取UI控件属性进行操作或者通过测试指令来操控UI控件。但这一方法存在以下缺陷：有时会出现无法获取到控件属性，导致无法操作UI界面，例如：第三方定制化应用不支持用户获取控件属性或Android系统升级后部分控件无法获取属性。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明实施例提出一种触摸屏测试方法、装置、系统及存储介质。

一方面，本发明实施例提供一种触摸屏测试方法，包括：实时获取显示于待测设备的触摸屏中的第一图像数据；根据测试任务的配置信息，获取待操作控件的特征数据，并根据所述特征数据确定所述第一图像数据中是否存在所述待操作控件；若确定存在所述待操作控件，则获取所述待操作控件在所述第一图像数据中的图像坐标，并根据所述图像坐标获取对应的控件实际坐标，所述控件实际坐标用于表征所述待操作控件在所述待测设备的触摸屏侧的位置；控制机械臂的执行末端移动至所述控件实际坐标，对所述待测设备的触摸屏执行第一操作，其中所述第一操作由所述测试任务的配置确定；获取显示于所述待测设备的触摸屏中的第二图像数据，根据所述第二图像数据确定所述测试任务的测试结果；所述第二图像数据用于表征执行所述第一操作后所述待测设备的触摸屏的显示图像。

根据本发明实施例的触摸屏测试方法，至少具有如下有益效果：通过对待测设备的触控屏进行实时拍摄，识别出测试任务中对应的待操作控件，通过该待操作控件的图像坐标获取对应的控件实际坐标，将机械臂的执行末端移动至控件实际坐标，对触摸屏上的待操作控件进行相应的操作，并获取待测设备响应的显示图像，生成相应的测试结果；不依赖于UI控件属性，而通过机器视觉实时对触摸屏界面的控件进行精准定位，控制机械手对触摸屏类产品进行UI界面控件操作，模拟人工操作的同时提高了测试效率，避免了绕过触摸屏使用命令或者串口等方式进行操作，与用户实际操作不一致而导致的测试误差。

根据本发明的一些实施例，所述待操作控件的特征数据包括所述待操作控件的第三图像数据；所述根据所述特征数据确定所述第一图像数据中是否存在所述待操作控件，包括：通过图像识别，获取匹配结果，所述匹配结果用于表征所述第一图像数据中是否存在与所述第三图像数据匹配的区域；若所述匹配结果为存在与所述第三图像数据匹配的区域，则确定所述第一图像数据中存在所述待操作控件。

根据本发明的一些实施例，所述待操作控件的特征数据包括第一文字，所述第一文字用于表征所述待操作控件显示的文字信息；所述根据所述特征数据确定所述第一图像数据中是否存在所述待操作控件，包括：获取所述第一图像数据的文字识别结果；若所述文字识别结果中包括所述第一文字，则确定所述第一图像数据中存在所述待操作控件。

根据本发明的一些实施例，所述测试任务的配置信息包括：所述待操作控件的第一位置，所述第一位置用于表征所述待操作控件显示于所述待测设备的触摸屏时所在的分区信息；所述根据所述特征数据确定所述第一图像数据中是否存在所述待操作控件包括：根据所述第一位置，从所述第一图像数据中获取相应的识别区域图像；根据所述特征数据确定所述识别区域图像中是否存在所述待操作控件。