[发明专利]提供用于自然语言问答系统的训练数据的方法和设备

权利要求书

1.一种提供用于自然语言问答系统的训练数据的方法，包括：

接收原始训练数据，所述原始训练数据包括问题答案对形式的至少一个问题和相对应的多个答案；

确定所述多个答案的数据质量；

基于所述数据质量，将所述多个答案标记为第一类实例或第二类实例；

从所述多个答案中选择第一类实例和第二类实例进行组合，以获得多个实例组合；

对所述多个实例组合进行排序，经排序的所述多个实例组合分别对应于自然语言问答系统在时间顺序上的各次训练的训练数据，其中

所述第一类实例在经排序的所述多个实例组合中的比例单调增加并且所述第二类实例在经排序的所述多个实例组合中的比例单调减少。

2.根据权利要求1所述的方法，其中，所述确定所述多个答案的数据质量包括：

对所述多个答案进行词法分析，确定其中出现的各个词语的词频；以及

基于所述各个词语的词频，将所述多个答案标记为高质量答案或低质量答案。

3.根据权利要求2所述的方法，其中，所述基于所述词频将所述多个答案标记为高质量答案或低质量答案包括：

将所述各个词语的词频和预定的词频阈值比较，将所述各个词语标记为高频词、低频词和极低频词其中之一；

将所述多个答案中的包含低频词的答案确定为高质量答案；以及

将所述多个答案中的仅包含高频词和/或极低频词而不包含低频词的答案确定为低质量答案。

4.根据权利要求1所述的方法，其中，所述确定所述多个答案的数据质量包括：

对所述多个答案进行句法分析，确定所述多个答案的语句得分；以及

基于所述语句得分，将所述多个答案标记为高质量答案或低质量答案。

5.根据权利要求4所述的方法，其中，所述基于所述语句得分将所述多个答案标记为高质量答案或低质量答案包括：

确定所述多个答案的语句长度；

基于所述语句长度，对所述多个答案的语句得分加权；以及

基于加权后的语句得分，将所述多个答案标记为高质量答案或低质量答案。

6.根据权利要求2-5中任一项所述的方法，其中，所述基于所述数据质量将所述多个答案标记为第一类实例或第二类实例包括：

将高质量答案标记为第一类实例；以及

将低质量答案标记为第二类实例。

7.根据权利要求2-5中任一项所述的方法，其中，在经排序的所述多个实例组合中的第一实例组合中，所述第一类实例少于所述第二类实例，在经排序的所述多个实例组合中的最后一个实例组合中，所述第一类实例多于所述第二类实例。

8.根据权利要求7所述的方法，其中，所述第一类实例在经排序的所述多个实例组合中的比例的增长率随着经排序的所述多个实例组合的编号单调增加并且所述第二类实例在经排序的所述多个实例组合中的比例的降低率随着经排序的所述多个实例组合的编号单调增加。

9.根据权利要求8所述的方法，其中，所述第一类实例和第二类实例在经排序的所述多个实例组合中的比例与经排序的所述多个实例组合的编号满足指数函数关系。

10.根据权利要求8所述的方法，其中，所述第一类实例和第二类实例在经排序的所述多个实例组合中的比例与经排序的所述多个实例组合的编号满足幂函数关系。