[发明专利]一种基于大型通用预训练模型控制对话生成的方法

说明书

本发明公开了一种基于大型通用预训练模型控制评论生成的方法，第一步、通过一个前向过程获取性模型p(a|x)、p(x)；第二步、通过反向传播获取相对于H的梯度并更新H；第三步、利用更新之后的H来预测此时刻的词典分布；计算H_t的更新值通过若干次重复计算梯度并衰减求和得到。本发明基于预训练的大型通用模型和利用有监督的鉴别器，实现可控主题和情感极性的文本评论生成；相对于传统的beam search解码评论文本生成，本发明使用的基于大型预训练语言模型的生成句子相对更“人性化”。

技术领域

本发明涉及社交网络开发技术领域，特别是涉及一种基于深度学习的大型预训练通用模型的对话生成方法。

背景技术

人机对话技术已经被工业界广泛应用到各种类型的产品服务中。现在耳熟能详的此类产品例如个人助理系统、智能家居服务系统以及电商智能客服系统等。这些人机对话产品给人们的日常生活带来了极大的便利性。

对话生成是一种具有对话属性的文本生成技术。在用预训练进行对话生成的过程中，现有的可控生成方式包括以下几类：

1.从一个预训练语言模型开始，应用调节机制，以便让语言模型始终都能生成某种特定风格的评论句子，粗糙的调节并不能生成理想效果句子文本；

2.从零开始训练一个大型条件生成模型，进行针对目标领域的评论生成，代价相对高昂；

3.不改变这个大的语言模型，而是通过关键N元组替换的方式，调节已经生成的评论句子风格，通过替换的方式生成的文本句意僵硬，可能出现语法错误。

总的来说这种直接针对文章进行评论生成，或花费较大成本训练一个适用于特定任务的模型来生成，且生成的评论与主题偏差较大，质量不是很高，也不能控制情感倾向；

发明内容

基于现有技术，本发明提出了一种基于大型通用预训练模型控制评论生成的方法，基于预训练的大型通用模型和利用有监督的鉴别器，实现可控主题和情感极性的文本评论生成。

本发明方法优点：

1、采用了基于梯度更新的主题回传，只需要训练时属性模型带动通用预训练模型进行生成，拿来即用，对预训练好的模型，无需进行微调或者重新训练模型，如果要生成目标领域文本只需要提供目标领域的常用词或提供一个训练好的小情感分类模型；

2、只需要训练一个敏感词模型，生成的评论相对具有内容正确可靠性，使得敏感词处理更方便；

3、相对于传统的beam search解码评论文本生成，使用的基于大型预训练语言模型的生成句子相对更“人性化”。

附图说明

图1为本发明的一种基于大型通用预训练模型控制评论生成的方法整体流程图。

具体实施方式

以下结合附图和实施例对本发明进行详细说明。

本发明具体的做法是根据梯度将Transformer模型解码器每一层的隐层状态向通用语言模型和目标属性的方向改变一步。对于目标属性，进行了两类属性的控制，即：1)对情感属性的控制，通过一个预训练的分类器判断生成的候选文本的误差；2)对主题属性的控制，通过指定一个中心词，找到词表的相关词集合，以multi-hot的方式将这些词列为词典中的真实标签来计算误差。

如图1所示，为本发明的一种基于大型通用预训练模型控制评论生成的方法整体流程图。本流程具体包括以下步骤：

步骤1、采用通用预训练语言模型和属性判别模型实现前向计算，进行属性模型p(a|x)预测，过程包括：