[发明专利]算法模型的评估方法及装置、存储介质、电子装置

说明书

本发明实施例提供了一种算法模型的评估方法及装置、存储介质、电子装置，该方法包括：利用第一算法模型输出K个测试样本的测试数值，得到K个测试数值，其中，K是大于1的自然数；确定K个测试数值中第一测试数值对应的第一测试样本和第二测试数值对应的第二测试样本，其中，第一测试数值大于第二测试数值；在确定的测试矩阵中查找第三测试值和第四测试值；基于第三测试值和第四测试值对第一算法模型和第二算法模型进行评估。通过本发明，解决了相关技术中对算法模型的评估耗时耗力的问题，达到高效准确的评估算法模型的效果。

技术领域

本发明实施例涉及计算机领域，具体而言，涉及一种算法模型的评估方法及装置、存储介质、电子装置。

背景技术

随着机器学习与深度学习的不断发展，计算机视觉算法被应用于各个领域。随着计算机、嵌入式系统对图像、视频处理能力的快速进步过程中，针对图像或视频序列的预测算法层出不穷。针对现在的海量算法，研究者通常通过算法的最终任务将算法分为检测、分类、回归等大类，其中回归任务是指算法通过输入图像或视频序列，进行一系列处理，最终输出一个或多个浮点分数，依靠这些分数来衡量输入数据的属性。例如，在质量评估算法中，算法通过输出的客观质量分数，评估图像或视频视觉成像上的优劣；在行人重识别算法中，通过对目标的打分来确定测试图像与查询图像是否为同一目标。在这些当下炙手可热的算法任务中，研究员各自提出了非常多种不同计算方式的算法，这些算法接受相同的输入，输出相同的类型。在评估这些算法优劣的过程中，往往通过客观评估指标去衡量算法的准确率与精度。然而，事实上这些客观的评估指标，或多或少的都存在一定的缺陷，而人眼作为最终载体，在评估算法效果上具有决定性的优势。但是，在海量的数据面前，主观评估较为耗时、耗力。

针对上述技术问题，相关技术中尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种算法模型的评估方法及装置、存储介质、电子装置，以至少解决相关技术中对算法模型的评估耗时耗力的问题。

根据本发明的一个实施例，提供了一种算法模型的评估方法，包括：利用第一算法模型输出K个测试样本的测试数值，得到K个测试数值，其中，上述K是大于1的自然数；确定上述K个测试数值中第一测试数值对应的第一测试样本和第二测试数值对应的第二测试样本，其中，上述第一测试数值大于上述第二测试数值；在确定的测试矩阵中查找第三测试值和第四测试值，其中，第三测试值是基于第二算法模型对第一测试样本进行处理得到的，第四测试值是基于第二算法模型对第二测试样本进行处理得到的；基于上述第三测试值和上述第四测试值对上述第一算法模型和上述第二算法模型进行评估。

根据本发明的另一个实施例，提供了一种算法模型的评估装置，包括：第一输出模块，用于利用第一算法模型输出K个测试样本的测试数值，得到K个测试数值，其中，上述K是大于1的自然数；第一确定模块，用于确定上述K个测试数值中第一测试数值对应的第一测试样本和第二测试数值对应的第二测试样本，其中，上述第一测试数值大于上述第二测试数值；第一查找模块，用于在确定的测试矩阵中查找第三测试值和第四测试值，其中，第三测试值是基于第二算法模型对第一测试样本进行处理得到的，第四测试值是基于第二算法模型对第二测试样本进行处理得到的；第一评估模块，用于基于上述第三测试值和上述第四测试值对上述第一算法模型和上述第二算法模型进行评估。

在一个示例性实施例中，上述装置还包括：第二确定模块，用于利用第一算法模型输出K个测试样本的测试数值，得到K个测试数值之前，确定上述测试矩阵，其中，上述测试矩阵中包括I个算法模型，J个测试样本，上述I和上述J均是大于1的自然数，上述测试矩阵中的元素用于表示上述N个算法模型输出的上述M个测试样本中任一测试样本的测试数值。

在一个示例性实施例中，上述装置还包括：第三确定模块，用于确定上述测试矩阵之后，将上述I个算法模型中的第i个算法模型确定为上述第一算法模型；第四确定模块，用于将上述I个算法模型中除上述第i个算法模型之外的其他算法模型确定为第二算法模型。