[发明专利]摘要生成模型的训练方法、装置、设备和存储介质

权利要求书

1.一种摘要生成模型的训练方法，包括：

获取文档样本对应的文档表示；

基于所述文档表示，构造所述文档表示对应的摘要表示，所述摘要表示包括正摘要表示和负摘要表示；

基于所述文档表示、所述正摘要表示、所述负摘要表示，构建总对比损失函数，并基于所述总对比损失函数训练摘要生成模型；

其中，所述摘要生成模型包括：编码器和解码器，所述获取文档样本对应的文档表示，包括：

采用所述编码器对所述文档样本进行处理，以获得编码表示；

采用所述解码器对所述编码表示进行处理，以获得解码表示；

将所述编码表示和所述解码表示，作为所述文档表示；

其中，所述基于所述文档表示、所述正摘要表示、所述负摘要表示，构建总对比损失函数，包括：

基于所述编码表示、所述正摘要表示和所述负摘要表示，构建第一对比损失函数；

基于所述解码表示、所述正摘要表示和所述负摘要表示，构建第二对比损失函数；

基于所述第一对比损失函数和所述第二对比损失函数，构建总对比损失函数；

其中，所述正摘要表示是所述文档样本的正摘要样本的表示，所述负摘要表示是所述文档样本的负摘要样本的表示，所述正摘要样本和所述负摘要样本是基于所述解码表示对应的生成文本构造的。

2.根据权利要求1所述的方法，其中，所述正摘要样本的构造过程，包括：

对所述生成文本进行回环翻译，以获得回环翻译结果，将所述回环翻译结果作为所述正摘要样本。

3.根据权利要求1所述的方法，其中，所述负摘要样本的构造过程，包括如下项中的至少一项：

对所述生成文本进行实体替换，以获得实体替换结果，将所述实体替换结果作为所述负摘要样本；

对所述生成文本进行代词替换，以获得代词替换结果，将所述代词替换结果作为所述负摘要样本；

对所述生成文本进行情感替换，以获得情感替换结果，将所述情感替换结果作为所述负摘要样本；

获取所述生成文本的相似文本，将所述相似文本作为所述负摘要样本；

对所述生成文本进行虚拟对抗训，以获得虚拟对抗结果，将所述虚拟对抗结果作为所述负摘要样本。

4.一种摘要生成模型的训练装置，包括：

获取模块， 用于获取文档样本对应的文档表示；

构造模块，用于基于所述文档表示，构造所述文档表示对应的摘要表示，所述摘要表示包括正摘要表示和负摘要表示；

训练模块，用于基于所述文档表示、所述正摘要表示、所述负摘要表示，构建总对比损失函数，并基于所述总对比损失函数训练摘要生成模型；

其中，所述摘要生成模型包括：编码器和解码器，所述获取模块具体用于：

采用所述编码器对所述文档样本进行处理，以获得编码表示；

采用所述解码器对所述编码表示进行处理，以获得解码表示；

将所述编码表示和所述解码表示，作为所述文档表示；

其中，所述训练模块具体用于：

基于所述编码表示、所述正摘要表示和所述负摘要表示，构建第一对比损失函数；

基于所述解码表示、所述正摘要表示和所述负摘要表示，构建第二对比损失函数；

基于所述第一对比损失函数和所述第二对比损失函数，构建总对比损失函数；

其中，所述正摘要表示是所述文档样本的正摘要样本的表示，所述负摘要表示是所述文档样本的负摘要样本的表示，所述正摘要样本和所述负摘要样本是基于所述解码表示对应的生成文本构造的。

5.根据权利要求4所述的装置，其中，所述正摘要样本是基于构造模块构造的，所述构造模块进一步具体用于：

对所述生成文本进行回环翻译，以获得回环翻译结果，将所述回环翻译结果作为所述正摘要样本。