[发明专利]辅助理解的对话系统人工评估方法、装置及存储介质

摘要

本发明公开了一种辅助理解的对话系统人工评估方法、装置及存储介质，对常用的标准进行分组和整理，选择出待评估的对话标准，构建基础评估模板，还参考中英文考试中常用的阅读理解测试和阅读策略设计，在基础评估模板中呈现对话历史的部分嵌入了单选补全对话、内容拖拽排序的阅读任务，并记录收集工人评估对话历史的所用时间，依据一致性算法计算出工人作答的一致性指标，说明理解对话历史对评估结果的改善。本发明上述方案从任务理解的角度出发，通过增强工人对任务的理解程度来完善对话评估方案，提高工人评估的可靠性，从而获取高质量的评估数据。