[发明专利]一种文本知识提取方法、装置及自然语言推断系统

权利要求书

1.一种文本知识提取方法，其特征在于，所述方法包括：

基于待进行自然语言推断的前提句P和假设句H，从非结构化的纯文本资源中检索出有助于实现P和H之间推断的语句，作为外部知识；

通过注意力机制将所述外部知识引入自然语言推断系统，实现P和H间的推断。

2.如权利要求1所述的文本知识提取方法，其特征在于，所述基于待进行自然语言推断的前提句P和假设句H，从非结构化的纯文本资源中检索出有助于实现P和H之间推断的语句，作为外部知识，包括：

使用K-means方法，无监督地将所述纯文本资源按照主题分为N₁类；将P和H拼接为一个长句L；利用相似度，在N₁个类别的纯文本资源中检索与L最相关的N₂个类别；

通过BM25，在与L最相关的N₂个类别的纯文本资源中检索得到与L相似度最高的N₃个句子；

基于BERT模型，分别检索与P和与H相似度最大的N₄条句子，经过去重后连接为一个长句子K，将K作为P和H的外部知识。

3.如权利要求2所述的文本知识提取方法，其特征在于，所述BERT模型为在语义文本相似度STS-B数据集上进行微调的BERT模型。

4.如权利要求2或3所述的文本知识提取方法，其特征在于，所述通过注意力机制将所述外部知识引入自然语言推断系统，实现P和H间的推断，包括：

获取P、H、K的向量表示

利用注意力机制分别得到和关于和关于彼此的注意力信息，并将两者相加，分别得到P、H的增强表示构造如下：

其中，Attention(·,·)表示注意力机制；

将和输入自然语言推断系统，实现P和H间的推断。

5.一种文本知识提取装置，其特征在于，所述装置包括：

知识检索模块，用于基于待进行自然语言推断的前提句P和假设句H，从非结构化的纯文本资源中检索出有助于实现P和H之间推断的语句，作为外部知识；

插件式非结构化文本知识提取模块，用于通过注意力机制将所述外部知识引入自然语言推断系统，实现P和H间的推断。

6.如权利要求5所述的文本知识提取装置，其特征在于，所述知识检索模块具体用于：

使用K-means方法，无监督地将所述纯文本资源按照主题分为N₁类；将P和H拼接为一个长句L；利用相似度，在N₁个类别的纯文本资源中检索与L最相关的N₂个类别；

通过BM25，在与L最相关的N₂个类别的纯文本资源中检索得到与L相似度最高的N₃个句子；

基于BERT模型，分别检索与P和与H相似度最大的N₄条句子，经过去重后连接为一个长句子K，将K作为P和H的外部知识；其中，所述BERT模型为在语义文本相似度STS-B数据集上进行微调的BERT模型。

7.如权利要求6所述的文本知识提取装置，其特征在于，所述插件式非结构化文本知识提取模块具体用于：

获取P、H、K的向量表示

利用注意力机制分别得到和关于和关于彼此的注意力信息，并将两者相加，分别得到P、H的增强表示构造如下：

其中，Attention(·,·)表示注意力机制；

将和输入自然语言推断系统，实现P和H的推断。