[发明专利]基于深度学习的界面控件测试方法及系统

说明书

本发明提供了一种基于深度学习的界面控件测试方法及系统，所述方法包含：获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息；根据界面序号截取对应的屏幕界面数据，将屏幕界面数据带入通过场景文本检测公共数据集训练获得的文本检测模型中获得文本位置信息；根据文本位置信息对屏幕界面数据中对应区域进行截图获得文本区域截图数据，将文本区域截图数据带入通过文本识别公共数据集训练获得的文本识别模型中获得文本信息；将文本信息与目标文本进行匹配，根据匹配得到的目标文本获得对应的目标控件位置及输入信息；根据输入信息对目标控件位置对应的目标控件执行对应的指令操作。

技术领域

本发明涉及界面控件测试领域，尤指代一种基于深度学习的界面控件方法及测试系统。

背景技术

为了保证软件产品的质量，软件产品在发布之前都会进行大量的测试工作。在现有技术中，测试人员可以借助自动化测试工具或其它手段，对界面进行测试，以实现节约人力和降低时间成本。界面自动化测试最为重要的一件事情就是得到要操作的控件对象，比如一个文本框、点击框、下拉框等等。精确、快速的得到目标控件对象是界面控件自动化测试的关键。

传统的界面控件测试一般分为两种方法：一种通过录制界面控件的图片并保存在特定的路径下，然后通过编写测试脚本的方式去找界面中目标控件的位置从而对界面中目标控件进行相应的动作指令测试。第二种是直接通过测试案例驱动，将控件的大致的位置坐标和对控件操作的动作指令填写到案例数据中，通过案例中填写的目标控件周围的目标文本位置坐标和控件周围的目标文本信息，并指定寻找目标文本图片的文本框大小按每个像素不断遍历，每遍历一次得到的图片送到OCR识别服务中去识别，识别的结果与控件周围的目标文本匹配，找到目标控件周围的文本位置坐标，然后再根据得到的文本位置坐标和案例中填写的控件与周围的目标文本的相对位置去遍历找到目标控件。

第一种方法的缺点：1、当界面发生变化时录制的界面控件的位置和编写的测试脚本都要随之变化。2、当界面显示在分辨率较低的显示器上面显示时，原来在较高分辨率录制的控件图片在分辨率较低的显示器上可能识别不到，这种情况下需要重新录制脚本。不断的重复录制和修改脚本浪费了人力和时间成本，导致测试工作效率不高。

第二种方法的缺点：1、在测试案例中需要填写目标控件周围的目标文本位置起点和终点坐标，然而在实际测试过程中测试人员是很难知道目标文本在界面中的位置的，起点坐标在填写时只能估计很小的坐标，终点坐标在填写时只能估计很大的坐标，但这样会增加图片遍历的次数，非常耗时。2、在寻找控件周围的目标文本图片时，需要指定寻找目标文本框的大小按像素不断遍历，当指定的目标文本框的大小通过遍历不能找到该目标文本的图片时，需要换文本框的大小重新遍历。这种方式不智能，效率很低，而且如果规定的目标文本框较小或者较大，都很有可能存在找不目标本文图片的情况。

发明内容

本发明目的在于提供一种基于深度学习的界面控件方法及测试系统，提高对界面控件进行识别的精确度、易用性更强，从而节约测试的人力、时间成本。

为达上述目的，本发明所提供的基于深度学习的界面控件测试方法，具体包含：获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息；根据所述界面序号截取对应的屏幕界面数据，将所述屏幕界面数据带入通过场景文本检测公共数据集训练获得的文本检测模型中获得文本位置信息；根据所述文本位置信息对所述屏幕界面数据中对应区域进行截图获得文本区域截图数据，将所述文本区域截图数据带入通过文本识别公共数据集训练获得的文本识别模型中获得文本信息；将所述文本信息与所述目标文本进行匹配，根据匹配得到的目标文本获得对应的目标控件位置及输入信息；根据所述输入信息对所述目标控件位置对应的目标控件执行对应的指令操作。

在上述基于深度学习的界面控件测试方法中，优选的，获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息还包含：根据所述界面序号、所述目标文本、所述目标控件位置及所述输入信息生成测试案例；根据一条或多条测试案例生成案例模板数据。