[发明专利]基于自然语言推断分类数据集的降噪装置及方法

权利要求书

1.一种基于自然语言推断分类数据集的降噪装置，其特征在于，包括：

将分类数据集转换成自然语言推断数据集的数据格式转换模块；

对转换后的自然语言推断数据集进行训练的自然语言推断模型训练模块，所述自然语言推断模型训练模块在能提供大量标注正确且分布同全量远程监督关系分类数据集一致的监督数据的情况下使用监督学习训练模型，若不能提供，则使用强化学习的方法对模型进行训练；

利用训练好的自然语言推断模型对远程监督关系分类数据集进行优化的数据集降噪模块。

2.根据权利要求1所述的基于自然语言推断分类数据集的降噪装置，其特征在于，上述数据格式转换模块依据关系分类数据集中的各类关系的语义分别构造对应模板，将关系分类中的三元组转换成自然语言推断中的假设，将关系分类数据集中的文本作为自然语言推断中的前提，实现自然语言推断训练集的构造。

3.根据权利要求1所述的基于自然语言推断分类数据集的降噪装置，其特征在于，上述自然语言推断模型训练模块，当原始数据能提供标注正确且分布同全量远程监督关系分类数据集一致的标注数据的时候使用监督学习训练模型，当原始数据包含大量噪声，使用强化学习的方法在不依赖监督学习所需的标注数据的情况下对自然语言推断模型进行训练。

4.根据权利要求1所述的基于自然语言推断分类数据集的降噪装置，其特征在于，上述数据集降噪模块通过训练好的自然语言推断模型对远程监督得到的关系分类数据集进行打分，按照分数选取置信度高的数据作为优化后的数据集。

5.基于权利要求1所述的基于自然语言推断分类数据集降噪装置的降噪方法，其特征在于，包括如下步骤：

数据集格式转换，将关系分类数据集转换成自然语言推断数据集；

自然语言推断模型训练，在能提供大量标注正确且分布同全量远程监督关系分类数据集一致的监督数据的时候使用监督学习训练模型，无法提供的时候使用强化学习的方法对模型进行训练；

数据集降噪，通过训练好的自然语言推断模型对远程监督关系分类数据集进行优化。

6.根据权利要求5所述的降噪方法，其特征在于，上述数据格式转换过程中，依据关系分类数据集中的各类关系的语义分别构造对应模板，将关系分类中的三元组转换成自然语言推断中的假设，将关系分类数据集中的文本作为自然语言推断中的前提，实现自然语言推断训练集的构造。

7.根据权利要求5所述的降噪方法，其特征在于，上述自然语言推断模型训练过程中，当原始数据能提供较大量标注正确且分布同全量远程监督关系分类数据集一致的监督数据的时候可以时候用监督学习训练模型，当原始数据包含大量噪声，而获得大规模干净的用于监督学习的数据集代价很大的时候使用强化学习的方法对自然语言推断模型进行训练。

8.根据权利要求5所述的降噪方法，其特征在于，上述数据集降噪过程中，通过训练好的自然语言推断模型对远程监督得到的关系分类数据集进行打分，按照分数选取置信度高的数据作为优化后的数据集。