[发明专利]一种算法模型评测方法及系统

说明书

本发明公开了一种算法模型评测方法及系统，其中方法包括以下步骤：获取语料数据，根据应用场景将所述语料数据分成若干类型的语料库；根据各个语料库分别对新、旧算法模型进行评测得到对应的评测数据；其中，所述新、旧算法模型是利用算法模型训练平台训练得到的；根据所述评测数据和预设的评测标准判断所述新算法模型是否通过评测，若通过，则将所述新算法模型进行上线；否则，根据所述评测数据改进所述新算法模型。本发明提供的方法能够直接对接算法模型训练平台，根据评测数据和预设的评测标准能对新算法模型进行线上实时评测，可以节省算法测试的时间，提高了工作效率。

技术领域

本发明涉及软件测试技术领域，尤其是涉及一种算法模型评测方法及系统。

背景技术

现有的算法模型测试方法，通常利用在线下标注好的数据进行测试，一般不支持线上的生产数据进行实时测试；同时，算法模型的评测过程与开发过程相对独立的，算法模型的评测过程不能直接对接算法模型训练平台。

算法模型的评测完成后，需测试人员将评测报告导出再反馈给开发人员，导致算法评测的时间较长。

发明内容

本发明的目的是提供一种算法模型评测方法及系统，以解决在现有技术中不能对算法模型进行线上实时评测、算法评测时间较长的技术问题。

本发明的目的，可以通过如下技术方案实现：

一种算法模型评测方法，包括以下步骤：

获取语料数据，根据应用场景将所述语料数据分成若干类型的语料库；

根据各个语料库分别对新、旧算法模型进行评测得到对应的评测数据；其中，所述新、旧算法模型是利用算法模型训练平台训练得到的；

根据所述评测数据和预设的评测标准判断所述新算法模型是否通过评测，若通过，则将所述新算法模型进行上线；否则，根据所述评测数据改进所述新算法模型。

可选地，所述语料数据包括：

基准语料数据和生产抽取的实时语料数据，所述基准语料数据为人工标注好的语料数据。

可选地，根据各个语料库分别对新、旧算法模型进行评测得到对应的评测数据包括：

针对各个语料库分别建立相应的评测任务，设置所述评测任务的参数，执行所述评测任务以实现分别对新、旧算法模型进行评测得到对应的评测数据。

所述算法模型为意图识别模型，根据所述评测数据和预设的评测标准判断所述新算法模型是否通过评测包括：

根据所述评测数据获取新意图识别模型的准确率和新、旧意图识别模型的差异率，当所述准确率不小于第一预设阈值且所述差异率小于第二预设阈值时，表示所述新意图识别模型通过评测，否则为未通过；

其中，所述评测数据包括新、旧意图识别模型识别的意图标签，所述新意图识别模型的准确率为新意图识别模型识别正确的意图标签个数/总语料请求个数，所述差异率为新、旧意图识别模型识别的不同意图标签个数/总语料请求个数。

可选地，所述第一预设阈值为90％，所述第二预设阈值为3％。

可选地，根据所述评测数据改进所述新算法模型包括：

对所述评测数据进行交叉对比分析找出对应的坏情况语料，根据所述坏情况语料改进新算法模型，利用所述坏情况语料对改进后的新算法模型进行评测。

本发明还提供了一种算法模型评测系统，包括：

语料获取及分类模块，用于获取语料数据，根据应用场景将所述语料数据分成若干类型的语料库；