[发明专利]基于标注样本的图片结构化算法的自动测试方法及系统

说明书

本发明公开了基于标注样本的图片结构化算法的自动测试方法，包括：对选定的测试样本集进行标注，人工标注目标和属性值的正确信息，保存到文件或数据库；将样本目录下的图片一次送入结构化算法接口，将结构化数据存放到文件中，目录结构和图片一致，并记录运行时间，计算解析性能数据；对选定测试样本集中的目标进行分析，输出不相同的目标，保存不相同的目标图，计算目标检测的正确率、误检率和漏检率；对选定测试样本集中目标的属性值进行分析，输出不相同的属性值，保存属性值不相同的目标图，计算属性值识别的正确率和错误率；将分析结果进行整理，输出性能报告和功能报告。方法能客观、高效、准确、全面地评估图片结构化算法功能和性能指标。

技术领域

本发明涉及软件技术领域，具体涉及一种基于标注样本的图片结构化算法自动测试方法、系统、终端及介质。

背景技术

随着应用场景和用户需求的不断提高，图片结构化算法需要持续的优化升级，但是算法在训练集上训练完成后，各项识别指标是否达到预期的效果，往往要在线上环境才能体现出来，而且某个地方的试点只能表示在该场景下的情况，不能全面评估；而且每次进行测试的样本都不一样，导致测试出的性能指标不能直接比对，无法准确评估。

发明内容

针对现有技术中的缺陷，本发明实施例提供一种基于标注样本的图片结构化算法的自动测试方法、系统、终端及介质，能客观、高效、准确、全面地评估图片结构化算法功能和性能指标，采用自动化测试方式，大大节省人工的工作量。

第一方面，本发明实施例提供的一种基于标注样本的图片结构化算法的自动测试方法，包括：

准备多个应用场景的测试样本集；

对选定的测试样本集进行样本标注，人工标注目标和属性值的正确信息，并保存到文本或数据库；

采用样本图片结构化脚本将样本目录下的图片一次送入结构化算法接口，并将结构化数据存放到文件中，目录结构和图片一致，并记录运行时间，计算解析性能数据；

采用目标分析脚本对选定测试样本集中的目标进行分析，输出不相同的目标，并保存不相同的目标图，计算目标检测的正确率、误检率和漏检率；

采用属性值分析脚本对选定测试样本集中的目标属性值进行分析，输出不相同的属性值，并保存属性值不相同的目标图，计算属性值识别的正确率和错误率；

将分析结果进行整理，输出性能报告和功能报告。

第二方面，本发明实施例提供的一种基于标注样本的图片结构化算法的自动测试系统，包括：标注样本模块、运行分析模块和报告输出模块，

所述标注样本模块用于对选定的测试样本集进行样本标注，人工标注目标和属性值的正确信息，并保存到文件或数据库；

所述运行分析模块用于采用样本图片结构化脚本将样本目录下的图片一次送入结构化算法接口，并将结构化数据存放到文件中，目录结构和图片一致，并记录运行时间，计算解析性能数据；

采用目标分析脚本对选定测试样本集中的目标进行分析，输出不相同的目标，并保存不相同的目标图，计算目标检测的正确率、误检率和漏检率；

采用属性值分析脚本对选定测试样本集中目标的属性值进行分析，输出不相同的属性值，并保存属性值不相同的目标图，计算属性值识别的正确率和错误率；

所述报告输出模块用于将分析结果进行整理，输出性能报告和功能报告。

第三方面，本发明实施例提供的一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述实施例描述的方法。