[发明专利]一种远程监督检索数据的降噪方法

摘要

本发明提供一种远程监督检索数据的降噪方法，包括：对于给定问题和基于给定问题检索到的多个段落，计算给定问题的答案在各段落上的概率分布；基于给定问题和任一段落，利用段落阅读器，提取该段落中与答案对应的至少一个特定子串，并计算特定子串关于该段落为答案的概率，作为第一概率，直至遍历所有段落；基于概率分布和所有段落中特定子串对应的第一概率，选择相应的段落，对给定问题进行回答；其中，特定子串为由一个或多个单词组成的单词串。本发明能够更充分的利用检索到的相关文本中对回答问题有帮助的所有段落，从而更有效的提高开放域问答的问答效果，提高模型的稳定性，具有良好的实用性。

主权项

1.一种远程监督检索数据的降噪方法，其特征在于，包括：对于给定问题和基于所述给定问题检索到的多个段落，计算所述给定问题的答案在各所述段落上的概率分布；基于所述给定问题和任一所述段落，利用段落阅读器，提取该段落中与所述答案对应的至少一个特定子串，并计算所述特定子串关于该段落为所述答案的概率，作为第一概率，直至遍历所有所述段落；基于所述概率分布和所有所述段落中特定子串对应的所述第一概率，选择相应的段落，对所述给定问题进行回答；其中，所述特定子串为由一个或多个单词组成的单词串。