[发明专利]一种低资源场景下的文本生成方法、装置及系统

说明书

本发明提出了一种低资源场景下的文本生成方法、装置与系统，包括：步骤一，为有监督网络输入少量的有监督训练样本，同时为无监督网络输入大量的无监督训练样本，并对无监督文档复制两份，再分别对其嵌入向量进行dropout，得到两组嵌入向量；步骤二，为大型预训练文本生成网络并行集成适配器的小型神经网络，组成基于适配器微调的预训练学习组件；步骤三，对有监督网络与无监督网络采用基于适配器微调预训练学习组件，对无监督网络进行一致性学习，并结合有监督网络的有监督学习进行文本生成模型的训练与优化，并利用优化好的模型进行预测。本发明方案减少了对大量的人工标注数据的依赖，并使得模型训练过程训练开销也大幅降低。

技术领域

本发明涉及人工智能领域，主要涉及一种低资源场景下的文本生成方法、装置及系统。

背景技术

随着互联网技术的发展，万维网上大量的文本信息飞速增长，在现有的信息爆炸的场景下，对于新闻等内容的阅读而言，亟需一种能够进行自动凝练并生成简单文本生成的方法，如自动生成标题，自动生成新闻的摘要或者自动生成新闻的时间线叙事文档。并且随着移动互联网设备的普及，移动设备端的屏幕也要求新闻的内容和展示以概要的形式呈现。自动文本生成方法是解决对海量新闻等大规模信息进行核心内容摘取与生成的唯一途径。

实现这一方法的传统模式是利用海量的人工标注数据训练文本生成模型，让训练好的模型去对新的新闻数据进行文本的自动生成。然而在现实的很多场景中，标注海量的目标文本数据需要大量的人力物力，耗时且低效。比如生成中文新闻标题的LCSTS数据的标注规模达到210多万条，中文新闻摘要THUCNews数据的标注规模达到83多万条。现有方法并未讨论在少标注样本低资源场景下如何训练一个文本生成模型。其次现有的预训练模型在文本生成任务上表现优异，但预训练模型由于本身海量的模型参数量，带来了较大的训练开销(比如GPU显存开销大，模型训练时间久)。如何降低模型训练的开销，在轻量级也是一个亟待解决的问题。本发明涉及一种低资源场景下的文本生成方法、装置及系统。适应于抽取式文本生成比如抽取关键词进行生成，还有生成式文本生成比如逐词生成目标文本需求。本发明利用了一致性半监督学习来解决少标注样本场景，可以将210万的LCSTS中文新闻标题生成数据集的标注样本数量降低到10％，并保证其10％的有标签数据与大量无标签数据下的模型性能持平到50％左右的有标签数据的文本生成性能，本发明还利用了适配器微调的预训练参数冻结方法，如冻结预训练BERT模型可以降低110M左右的参数不参与梯度反向计算，降低文本生成模型的训练开销。

发明内容

针对目前文本生成方法低资源场景需求，本发明进行深入研究与实践，实现对少标注场景下的文本自动生成，极大地减少了文本生成方法对海量的人工标注数据的依赖，并且保持较好的文本生成性能。

为达到上述目的，本发明采用了下列技术方案，

包括三个步骤：

步骤一，为有监督网络输入少量的有监督训练样本，对应输入文档的嵌入向量，同时为无监督网络输入大量的无监督训练样本，即为开放式语料中获取的大量的不包含人工标注源文档数据，并对无监督文档复制两份，再分别对其对应的嵌入向量行了进行dropout，得到两组嵌入向量；

步骤二，为大型预训练文本生成网络(Pre-trained model)并行集成适配器的小型神经模块(Adapter)，组成适配器微调预训练学习组件。在有监督网络T，和两个一致性的无监督网络A和B中，采用同样的网络架构的适配器微调预训练学习组件。在适配器微调预训练学习组件中，外加的小型适配器神经模块参与模型训练，而原来的大型的预训练文本生成模块需要保持参数冻结。具体而言，

其中，在有监督网络T中进行有监督训练，训练过程的输入为有监督源文档-目标文本对(x^*，y^*)，在无监督网络A和B中进行所述的无监督一致性学习，训练过程的输入为x，A和B输出为其预测标签，一致性学习则是使得他们的预测标签一致。