[发明专利]一种评测方法、装置、服务器及存储介质

权利要求书

1.一种评测方法，其特征在于，包括：

获取指示多条评测任务的评测请求，以并行评测方式批量执行所述多条评测任务；所述评测请求至少指示有多条评测任务的评测对象及评测集；

根据所述评测请求中指示的评测集，从评测语料中拉取相应的评测集，以获取到所述评测任务的评测集；所述评测集包括执行所述评测任务的至少一个评测词；所述测评词是采用多线程爬取的方式获取的；

向所述评测对象逐一发送所述多条评测任务的各评测词，获取所述评测对象对所述多条评测任务的各评测词的评测响应；

向终端发送评测对象对各评测词的评测响应，以便终端在相应的同一页面中同时展示评测对象对多个评测词的评测响应；

针对所述相应的同一页面中同时展示的所述多个评测词的评测响应，分别获取多用户标注内容；所述多用户标注内容是由多个用户分别对各测评响应进行标注得到的；

根据各评测响应的多用户标注内容，确定各评测响应的标注结果；

根据各评测响应的标注结果，确定所述评测任务的评测结果；

从所述评测对象的各评测响应的标注结果中，确定表示badcase的评测响应；和/或，将所述评测对象在响应一评测词的过程中的逻辑输出结果，与预定逻辑输出结果进行比对，若比对结果不一致，则确定所述评测对象对该评测词的评测响应为badcase响应；和/或，获取用户反馈的评测对象的badcase响应；

根据预定的产生badcase响应的各原因类型，从评测对象的运行日志中筛选各原因类型相应的日志内容；所述评测对象在执行响应的过程中的不同逻辑步骤出现问题对应不同的原因类型；

分析各原因类型对应的执行逻辑的合理性，定位出不合理的执行逻辑；确定不合理的执行逻辑相应的原因类型，以定位到产生badcase响应的原因类型。

2.根据权利要求1所述的评测方法，其特征在于，所述根据各评测响应的多用户标注内容，确定各评测响应的标注结果包括：

对于任一评测响应，若评测响应的多用户标注内容相同，则将相同的标注内容作为该评测响应的标注结果；

对于任一评测响应，若评测响应的多用户标注内容不同，根据预设决策逻辑，从不同的标注内容中确定该评测响应的标注结果。

3.根据权利要求2所述 的评测方法，其特征在于，所述对于任一评测响应，若评测响应的多用户标注内容不同，根据预设决策逻辑，从不同的标注内容中确定该评测响应的标注结果包括：

对于任一评测响应，确定所述多用户标注内容中，相同标注内容最多的目标标注内容，以得到该评测响应的目标标注内容，将该评测响应的目标标注内容，作为该评测响应的标注结果。

4.根据权利要求1所述的评测方法，其特征在于，所述根据各评测响应的标注结果，确定所述评测任务的评测结果包括：

根据各评测响应的标注结果，计算所述评测任务的指标数值，得到所述评测任务的评测结果。

5.根据权利要求1-4任一项所述的评测方法，其特征在于，还包括：

针对各待评测对象，分别从各待评测对象关联的多个数据源抓取初始评测词，得到各待评测对象的初始评测词；

对各待评测对象的初始评测词进行筛选，得到各待评测对象筛选后的初始评测词；

将各待评测对象筛选后的初始评测词转换为预定统一格式，得到各待评测对象的评测词；

分别将各待评测对象的评测词进行分类，得到各待评测对象的评测集，并将各待评测对象的评测集进行存储，形成评测语料；其中，一待评测对象具有至少一个评测集，一个评测集包括至少一个评测词。

6.根据权利要求 1所述的评测方法，其特征在于，还包括：

对所述评测任务产生的各badcase响应的原因类型进行提单记录，形成所述评测任务的问题详单；所述评测任务的问题详单至少记录有所述评测任务的各badcase响应产生的原因类型的标题、说明、评测上下文、在评测对象的运行日志中相应的日志信息。