[发明专利]一种问答系统评价方法和装置

权利要求书

1.一种问答系统评价方法，其特征在于，包括：

根据用户输入，通过邀评概率计算搜集测试语料；

利用所述测试语料，通过聚类对问答系统进行测试；

根据测试结果更新知识库；

通过以下公式进行所述邀评概率计算：

ο＝N(S)*N(A)*N(C)*N(E)*N(Q)

其中：

N(x)为符合正态分布的函数，其值为非负，且在x＝0时最大，在x＝1时最小；

S为第一问题和第二问题的相似度，其值为[0-1]，值越大则表示两个问题越相似；

A为第一问题和第二问题在测试语料库中的正确率，其值为[0-1]，值越大则表示正确率越高；

C为该用户近期被邀评的次数，其值为[0-1]，值越大则表示该用户近期被邀评的次数越多；

Q为第一问题近期被邀评的次数，其值为[0-1]，值越大则表示该问题近期被邀评的次数越多。

2.根据权利要求1所述的方法，其特征在于，根据用户输入，通过邀评概率计算搜集测试语料包括：

接收用户从问答系统人机界面输入的第一问题，并将所述第一问题通过测试数据生成系统转发至问答系统；

从所述问答系统获取对应于所述第一问题的第二问题和答案，对所述第二问题进行所述邀评概率计算；

如果邀评概率小于阈值，则将所述第二问题和答案返回给所述问答系统人机界面进行展示，并且测试语料搜集过程结束；否则从测试语料库中随机抽取与所述第一问题相似而与所述第二问题不同的一个或多个问题，将所述一个或多个问题与所述第二问题进行乱序排列，以获得第三问题，将所述第三问题返回给所述问答系统人机界面进行展示；

将用户在所述问答系统人机界面上的操作结果反馈给测试数据生成系统，以更新所述测试语料库。

3.根据权利要求2所述的方法，其特征在于，将用户在所述问答系统人机界面上的操作结果反馈给测试数据生成系统，以更新所述测试语料库包括：

若用户点击某个具体问题，且用户点击的问题为所述第二问题，则将所述第一问题、所述第二问题存入测试语料库，记为匹配正确；向问答系统人机问答系统人机界面返回与所述第二问题对应的答案以进行展示；

若用户点击某个具体问题，且用户点击的问题不为所述第二问题，则将所述第一问题、所述第二问题存入测试语料库，记为匹配错误；同时将所述第一问题、用户点击的问题也存入测试语料库，记为匹配正确；向问答系统人机问答系统人机界面返回用户点击问题的答案以进行展示；

若用户输入新的问题或用户未进行任何操作，则将所述第一问题、所述第二问题存入测试语料库，记为匹配错误。

4.根据权利要求1所述的方法，其特征在于，利用测试语料，通过聚类对问答系统进行测试包括：

从测试语料库的标注问答集中抽取满足导出条件的语料集；

对所述语料集按照用户的问题进行聚类；

对每一个聚类结果，再按照与所述问题对应的答案进行二次聚类；

对每一个二次聚类的结果，统计被标注为正确的记录占二次聚类结果的记录总数的比例，若所述比例大于预定值则将二次聚类结果标记为正确，否则标记为错误；若与所述问题对应的答案为空，或者二次聚类结果的记录总数小于预定值，则忽略所述二次聚类结果；

对二次聚类结果计算准确率和召回率。

5.根据权利要求1所述的方法，其特征在于，还包括：

在所述问答系统首次运行或发生修改以及所述知识库被重置后，对测试语料库进行初始化。