[发明专利]一种正负样本对构造方法、装置、计算机设备及存储介质

权利要求书

1.一种正负样本对构造方法，其特征在于，所述方法包括下述步骤：

在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；

读取文本数据库，在所述文本数据库中获取待增广文本数据；

根据所述待增广文本数据构造初始正负样本对；

根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。

2.根据权利要求1所述的正负样本对构造方法，其特征在于，所述读取文本数据库，在所述文本数据库中获取待增广文本数据的步骤，具体包括下述步骤：

若所述待训练的编码器模型的学习目标为建立预测模型时，则在所述文本数据库中获取有标注文本数据，并将所述有标注文本数据作为所述待增广文本数据；

所述根据所述待增广文本数据构造初始正负样本对的步骤，具体包括下述步骤：

在所述有标注文本数据中提取第一待学习语句，并将所述第一待学习语句作为第一预测正样本；

在所述有标注文本数据中提取与所述第一待学习语句存在蕴含关系的语句作为第二预测正样本；

在所述有标注文本数据中提取与所述第一待学习语句存在冲突关系的语句作为预测负样本；

结合所述第一预测正样本、所述第二预测正样本以及所述预测负样本，得到所述初始正负样本对。

3.根据权利要求2所述的正负样本对构造方法，其特征在于，所述有标注文本数据由斯坦福自然语言推理语料以及多体裁自然语言推理语料组成的自然语言推理数据集。

4.根据权利要求2所述的正负样本对构造方法，其特征在于，在所述结合所述第一预测正样本、所述第二预测正样本以及所述预测负样本，得到所述初始正负样本对的步骤之后，还包括下述步骤：

根据预测损失函数对所述待训练的编码器模型进行预测模型训练，所述预测损失函数表示为：

其中，E表示所述第一预测正样本；E⁺表示所述第二预测正样本；E^-表示所述预测负样本；i、j分别表示样本集合中的样本序号；N表示所述样本集合中的样本对总数；r为起到放缩大小作用的超参数。

5.根据权利要求1所述的正负样本对构造方法，其特征在于，所述读取文本数据库，在所述文本数据库中获取待增广文本数据的步骤，具体包括下述步骤：

若所述所述待训练的编码器模型的学习目标为建立描述模型时，则在所述文本数据库中获取无标注文本数据，并将所述无标注文本数据作为所述待增广文本数据；

所述根据所述待增广文本数据构造初始正负样本对的步骤，具体包括下述步骤：

在所述无标注文本数据中提取第二待学习语句，并将所述第二待学习语句作为第一描述正样本以及第二描述正样本；

在所述午标准文本数据中提取与所述第二待学习语句不一致的语句作为描述负样本；

结合所述第一描述正样本、所述第二描述正样本以及所述描述负样本，得到所述初始正负样本对。

6.根据权利要求5所述的正负样本对构造方法，其特征在于，在结合所述第一描述正样本、所述第二描述正样本以及所述描述负样本，得到所述初始正负样本对的步骤之后，还包括下述步骤：

根据描述损失函数对所述待训练的编码器模型进行描述模型训练，所述描述损失函数表示为：

其中，E^m表示所述第一描述正样本；E^m′表示所述第二描述正样本；E^m″表示所述描述负样本；i、j分别表示样本集合中的样本序号；N表示所述样本集合中的样本对总数；r为超参数。