[发明专利]一种基于图像识别的WebUI自动化测试方法

说明书

本发明公开了一种基于图像识别的WebUI自动化测试方法，主要包含图像采集模块，图像匹配模块，报告生成模块，采用sikuli+selenium技术框架实现图像采集模块，应用opencv框架辅助实现图像识别模块，最后解析图像匹配的结果，获取差异元素的位置，最终生成测试报告。当前对于WebUI的自动化测试，由于现有框架的局限性导致不能覆盖浏览器兼容性测试及自适应功能场景，本方案提出一种基于图像识别的WebUI自动化测试方案，能够在保持测试高效简易的同时，解决上述问题，极大的提高WebUI自动化测试的覆盖率，从而提升测试效率。

技术领域

本发明涉及支付，金融领域，特别涉及一种基于图像识别的WebUI自动化测试方法。

背景技术

自动化测试(automation testing)是把以人为驱动的测试行为转化为机器执行的一种过程。在持续交付和持续集成的开发链路中，引入自动化测试来完成一些复杂或者重复性的测试工作，能够大量的节省人力、时间或硬件资源，极大提高测试效率。

图像识别技术，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。

目前针对复杂易变的WebUI的界面的自动化测试，业界传统的方案是应用pytest+selenium框架完成实现。由于此种方案的实现严格受限selenium组件本身的局限性，导致某些功能无法完全通过自动化方式覆盖，同时针对由于浏览器类型、版本不同导致WebUI界面产生的形变，乱序等场景的兼容性测试，当前的方案无法支持。因此业界目前缺缺少一种成熟稳定的WebUI自动化测试方案能够解决上述问题。本发明旨在WebUI自动化测试场景中，引入图像识别(picture recognization)技术，解决上述问题。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于图像识别的WebUI自动化测试方法，当前对于WebUI的自动化测试，由于现有框架的局限性导致不能覆盖浏览器兼容性测试及自适应功能场景，本方案提出一种基于图像识别的WebUI自动化测试方案，能够在保持测试高效简易的同时，解决上述问题，极大的提高WebUI自动化测试的覆盖率，从而提升测试效率。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种基于图像识别的WebUI自动化测试方法，主要包含图像采集模块，图像匹配模块，报告生成模块，采用sikuli+selenium技术框架实现图像采集模块，应用opencv框架辅助实现图像识别模块，最后解析图像匹配的结果，获取差异元素的位置，最终生成测试报告，具体包括以下步骤：

S1.首先获取标准模板图像base.jpg，此模板将作为检测界面异常的标准，而后进入图像截取模块，系统根据不同的配置参数，使用不同的浏览器，用户可以脚本语言调用此模块提供的api，从而控制界面的跳转，将需要测试的界面截取并且保存；

S2.随后进入图像匹配模块，由于浏览器兼容性测试，要求展示的界面与标准模板完全一致，因此可以设定匹配阈值为1，表示图像严格匹配，模块根据获取的图片，进一步清洗、加工特征，相似度计算，最终输出匹配的结果及问题元素的位置信息；

S3.报告生成模块解析匹配结果，生成测试结果报告，整个流程可以使用可以基于图形化编程框架sikuli构建，因为其简便性，可用户直接使用截图来进行UI自动化测试开发。

与现有技术相比，本发明的有益效果如下：

当前对于WebUI的自动化测试，由于现有框架的局限性导致不能覆盖浏览器兼容性测试及自适应功能场景，本方案提出一种基于图像识别的WebUI自动化测试方案，能够在保持测试高效简易的同时，解决上述问题，极大的提高WebUI自动化测试的覆盖率，从而提升测试效率。

附图说明