[发明专利]用于动态显示处理文本数据的评估系统的用户界面的系统和方法

权利要求书

1.一种用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的方法，所述方法包括：

接收文本数据和对与文本对象相关联的问题的第一预测答案，所述文本对象包括所述文本数据的结构化数据字段，所述第一预测答案包括第一置信水平，所述第一置信水平由机器学习系统至少部分地基于所述机器学习系统的一个或多个第一模型和所述文本数据确定；

响应于确定所述第一置信水平大于或等于第一预定置信阈值，将所述第一预测答案和引用存储在存储器中以供检取和显示，所述引用指示所述文本对象在所述文本数据中的位置；

响应于确定所述第一置信水平小于所述第一预定置信阈值：

在所述用户界面处，向第一用户显示所述问题和与所述问题相关联的所述文本对象，以供输入真实答案；以及

响应于确定所述第一置信水平大于或等于第二预定置信阈值，在所述用户界面处显示与所述文本对象相关的所述第一预测答案和上下文指导；并且

响应于通过所述用户界面接收真实答案：

至少部分地基于所述机器学习系统的所述一个或多个第一模型来确定与所述真实答案相关联的第一准确度分数；

至少部分地基于所述第一准确度分数改变所述第一预定置信阈值；以及

将所述第一准确度分数、所述真实答案以及所述引用存储在所述存储器中以供检取和显示；

其中所述第一预定置信阈值大于或等于所述第二预定置信阈值。

2.如权利要求1所述的方法，其特征在于，所述第一预定置信阈值大于所述第二预定置信阈值。

3.如权利要求1所述的方法，进一步包括：

将改变的第一预定置信阈值存储在所述存储器中以供检取和显示。

4.如权利要求1所述的方法，进一步包括：

响应于通过所述用户界面接收所述真实答案，至少部分地基于所述第一准确度分数来改变所述第二预定置信阈值。

5.如权利要求1所述的方法，进一步包括：

至少部分地基于所述机器学习系统的所述一个或多个第一模型生成对所述问题的所述第一预测答案；以及

至少部分地基于所述机器学习系统的所述一个或多个第一模型来确定所述第一置信水平，所述第一置信水平与所述第一预测答案相关联。

6.如权利要求1所述的方法，进一步包括：

响应于确定所述第一置信水平大于或等于第一预定置信阈值：

确定所述文本对象是否与所述评估系统的控制组相关联；以及

响应于确定所述文本对象与所述控制组相关联，在所述用户界面处向第一用户显示所述问题和所述文本对象以供输入真实答案。

7.如权利要求6所述的方法，其特征在于：

由第二用户为了准确度对与所述控制组相关联的所述文本对象进行审查。

8.如权利要求7所述的方法，其特征在于，所述控制组的一个或多个预测答案包括由所述机器学习系统生成的预测答案。

9.如权利要求7所述的方法，其特征在于，所述控制组的一个或多个预测答案包括从所述第二用户接收的真实答案。

10.如权利要求7所述的方法，进一步包括：

响应于确定所述控制组的所述一个或多个预测答案的第二准确度分数小于预定准确度阈值，增加与所述控制组的统计样本相关联的采样率。

11.如权利要求10所述的方法，进一步包括：

响应于确定所述控制组的所述一个或多个预测答案的第三准确度分数大于所述预定准确度阈值，降低与所述控制组的所述统计样本相关联的所述采样率。

12.如权利要求1所述的方法，进一步包括：

确定所述文本对象是否与所述评估系统的控制组相关联；以及

响应于确定所述文本对象与所述控制组相关联，在所述用户界面处向第一用户显示所述问题和所述文本对象以供输入真实答案。