[发明专利]优化模型的评价方法、装置、存储介质及计算机设备

权利要求书

1.一种优化模型的评价方法，其特征在于，包括：

抓取实际生产中产生的识别数据，将所述识别数据输入优化模型，获得样本数据；其中，所述样本数据包括识别数据以及对应的输出信息；

将所述样本数据发送至标注用户进行标注；其中，所述标注用户对所述样本数据标注正确标注信息或错误标注信息；

获取标注用户上传的标注信息，并根据标注信息将样本数据划分为正确样本集和错误样本集；

按照设定比例抽取所述正确样本集和错误样本集中的样本数据形成测试集预选数据；

将所述测试集预选数据的样本数据添加到原始模型对应的标准测试集中形成优化测试集，并根据所述优化测试集对所述优化模型进行评价。

2.根据权利要求1所述的优化模型的评价方法，其特征在于，所述将所述样本数据发送至标注用户进行标注的步骤之前，还包括：

建立标注用户集，分别将所述样本数据发送给标注用户集中的标注用户，以便所述标注用户对所述样本数据进行正确性标注。

3.根据权利要求2所述的优化模型的评价方法，其特征在于，若样本数据的标注信息为错误标注信息，所述获取标注用户上传的标注数据的步骤，包括：

获取该样本数据的错误标注信息以及标注用户输入的该识别数据对应的正确输出信息。

4.根据权利要求1所述的优化模型的评价方法，其特征在于，所述按照设定比例抽取所述正确样本集和错误样本集中的样本数据形成测试集预选数据的步骤之后，还包括：

对错误样本集中的样本数据进行错误类型分类；

统计所述错误样本集中的错误类型及每种错误类型的出错频率；

按照所述出错频率确定每种错误类型的抽取比例。

5.根据权利要求4所述的优化模型的评价方法，其特征在于，所述按照所述出错频率确定每种错误类型的抽取比例的步骤，包括：

根据所述出错频率对各错误类型进行排序；

选取排序靠前的预设数量的错误类型作为候选错误类型，根据排序结果确定各候选错误类型的抽取比例。

6.根据权利要求1所述的优化模型的评价方法，其特征在于，所述的优化模型为OCR识别模型时，所述根据所述优化测试集对所述优化模型进行评价的步骤，包括：

将优化测试集中的样本数据输入OCR识别模型中，获得OCR识别模型对所述优化测试集中样本数据的输出结果；

判断所述输出结果、预先与同一样本数据建立关联的输出信息是否匹配；

根据所述输出结果与所述输出信息之间的匹配结果获得OCR识别模型的识别准确率。

7.根据权利要求1所述的优化模型的评价方法，其特征在于，所述按照设定比例抽取正确样本集及错误样本集中的测试样本形成测试集预选数据的步骤，包括：

所述测试集预选数据中正确样本集中的样本数据的数量大于错误测试样本集中样本数据的数量。

8.一种优化模型的评价装置，其特征在于，包括：

获得样本数据模块，用于抓取实际生产中产生的识别数据，将所述识别数据输入优化模型，获得样本数据，其中，所述样本数据包括识别数据以及对应的输出信息；

标注模块，用于将所述样本数据发送至标注用户进行标注；其中，所述标注用户对所述样本数据标注正确标注信息或错误标注信息；

划分样本集模块，用于获取标注用户上传的标注信息，并根据标注信息将样本数据划分为正确样本集和错误样本集；

抽取模块，用于按照设定比例抽取所述正确样本集和错误样本集中的样本数据形成测试集预选数据；

评价模块，用于将所述测试集预选数据的样本数据添加到原始模型对应的标准测试集中形成优化测试集，并根据所述优化测试集对所述优化模型进行评价。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1至7中任一项所述的优化模型的评价方法的步骤。

10.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任意一项所述的优化模型的评价方法的步骤。