[发明专利]基于深度学习的界面控件测试方法及系统

权利要求书

1.一种基于深度学习的界面控件测试方法，其特征在于，所述方法包含：

获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息；

根据所述界面序号截取对应的屏幕界面数据，将所述屏幕界面数据带入通过场景文本检测公共数据集训练获得的文本检测模型中获得文本位置信息；

根据所述文本位置信息对所述屏幕界面数据中对应区域进行截图获得文本区域截图数据，将所述文本区域截图数据带入通过文本识别公共数据集训练获得的文本识别模型中获得文本信息；

将所述文本信息与所述目标文本进行匹配，根据匹配得到的目标文本获得对应的目标控件位置及输入信息；

根据所述输入信息对所述目标控件位置对应的目标控件执行对应的指令操作。

2.根据权利要求1所述的基于深度学习的界面控件测试方法，其特征在于，获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息还包含：根据所述界面序号、所述目标文本、所述目标控件位置及所述输入信息生成测试案例；根据一条或多条测试案例生成案例模板数据。

3.根据权利要求2所述的基于深度学习的界面控件测试方法，其特征在于，所述目标控件位置包含：目标控件与所述目标文本的相对位置和最短距离。

4.根据权利要求1所述的基于深度学习的界面控件测试方法，其特征在于，根据所述界面序号截取对应的屏幕界面数据包含：根据所述界面序号通过GUI自动截屏方法截取对应的屏幕界面数据。

5.根据权利要求1所述的基于深度学习的界面控件测试方法，其特征在于，所述文本检测模型构建流程包含：

将场景文本检测公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据；

通过卷积神经网络算法提取所述训练集图像数据和所述验证集图像数据的图片特征；

对所述图片特征做预设像素的文本二分类预测及预设像素相邻方向的连接的文本二分类预测，根据预设像素的文本二分类预测和连接的文本二分类预测获得连通域集合，根据所述连通域集合获得文字块实例分割数据；

根据所述文字块实例分割数据通过OpenCV提取带方向信息的外接矩形框，获得文本边界框；

根据所述训练集图像数据、所述文本边界框和所述验证集图像数据构建文本检测模型。

6.根据权利要求5所述的基于深度学习的界面控件测试方法，其特征在于，将场景文本检测公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据还包含：将所述训练集图像数据和所述验证集图像数据转化为tfrecord文件格式。

7.根据权利要求1所述的基于深度学习的界面控件测试方法，其特征在于，所述文本识别模型构建流程包含：

将文本识别公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据；

通过卷积神经网络算法提取所述训练集图像数据和所述验证集图像数据的图像卷积特征；

通过循环神经网络算法分析所述图像卷积特征的特性向量序列，获得文本字符序列概率；

通过CTC算法转录所述文本字符序列概率获得文本数据；

根据所述文本数据、所述训练集图像数据和所述验证集图像数据构建文本识别模型。

8.根据权利要求7所述的基于深度学习的界面控件测试方法，其特征在于，将文本识别公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据还包含：

将所述文本识别公共数据集中图像数据归一化处理为预设尺寸的标准图像数据；

将所述标准图像数据转化为tfrecord文件格式后，按预设比例划分为训练集图像数据和验证集图像数据。

9.根据权利要求1所述的基于深度学习的界面控件测试方法，其特征在于，根据所述输入信息对所述目标控件位置对应的目标控件执行对应的指令操作包含：

根据所述输入信息调用GUI自动化技术对所述目标控件位置对应的目标控件执行对应的指令操作。