[发明专利]一种基于预训练语言模型的文本生成方法

权利要求书

1.一种基于预训练语言模型的文本生成方法，其特征在于，所述方法具体包括以下步骤：

步骤一、获取用于文本生成的基线模型；

步骤二、计算获取的基线模型中的预训练语言模型在当前解码位置下生成目标风格的倾向；

所述步骤二的具体实现过程采用下述方式A或方式B；

方式A的具体流程为：

给定主题风格a和主题风格a所对应的词表W^a＝{w₁,w₂,...,w_k}；

其中，w_k为主题风格a中第k个主题相关的关键词；

则预训练语言模型在当前解码位置i下生成目标风格的倾向t_H为：

其中，P(x_i＝w|x_＜i)为当前解码位置i下词表W^a中单词w出现概率；

方式B的具体流程为：

给定属于风格a的文本集合为D^a，不属于风格a的文本集合为D^a’，count(u,D^a)为一个n-gram词组u出现在文本集合D^a中的次数，则词组u相对于风格a的重要程度分数score(u,a)为：

其中，∈是用于平滑的超参数，count(u,D^a’)为词组u出现在文本集合D^a’中的次数；

同理，分别得到各个n-gram词组相对于风格a的重要程度分数；

根据获得的重要程度分数对文本集合中的词组进行标注，并在基线模型中引入额外的attention层作为规整模块，规整模块的输出为：

K＝W_k·H^T

V＝W_v·H^T

c＝softmax(Q·K)·V

其中，H为预训练语言模型对于给定上文计算出的隐状态表示向量，H^T为H的转置，H＝(h₁,h₂,...,h_i)，h_i是预训练语言模型在当前解码位置i时计算出的隐状态表示，c是attention层计算出的整体表示；则

其中，W_k,W_v,W,Q均为参数矩阵，K和V为中间变量，t_T为在当前解码位置下生成目标风格的倾向，softmax(W·c)_[n]代表取出softmax(W·c)结果中的第n维数值，n代表标注的第n类，n＝1,2,…,10，n′代表第n类所对应分数区间的中位数；

所述根据获得的重要程度分数对文本集合中的词组进行标注，标注方法为：

将各个n-gram词组相对于风格a的重要程度分数正则化到(0,1]之间后，

若某个n-gram词组对应的正则化值在(0,0.1]之间，则将该n-gram词组标注为第1类；

若某个n-gram词组对应的正则化值在(0.1,0.2]之间，则将该n-gram词组标注为第2类；

若某个n-gram词组对应的正则化值在(0.2,0.3]之间，则将该n-gram词组标注为第3类；

若某个n-gram词组对应的正则化值在(0.3,0.4]之间，则将该n-gram词组标注为第4类；

若某个n-gram词组对应的正则化值在(0.4,0.5]之间，则将该n-gram词组标注为第5类；

若某个n-gram词组对应的正则化值在(0.5,0.6]之间，则将该n-gram词组标注为第6类；

若某个n-gram词组对应的正则化值在(0.6,0.7]之间，则将该n-gram词组标注为第7类；

若某个n-gram词组对应的正则化值在(0.7,0.8]之间，则将该n-gram词组标注为第8类；

若某个n-gram词组对应的正则化值在(0.8,0.9]之间，则将该n-gram词组标注为第9类；

若某个n-gram词组对应的正则化值在(0.9,1.0]之间，则将该n-gram词组标注为第10类；

步骤三、根据预训练语言模型在当前解码位置下生成目标风格的倾向对控制器进行约束，得到在当前解码位置下的条件生成概率；

根据条件生成概率进行目标风格的文本生成；

对应于方式A，步骤三中所采取的具体过程为：

其中，P(X|a)为在当前解码位置下的条件生成概率，P(x_i|x_＜i)为预训练语言模型在当前解码位置i时产生的概率分布，λ为超参数，f(a,P(x_≤i)为在当前解码位置i时对控制器的约束函数，P(a|x_＜i)为控制器在当前解码位置i时产生的概率分布，N代表总的解码位置数；

f(a,P(x_≤i))＝t_H/τ_H

其中，τ_H为设定的阈值，t_H为预训练语言模型在当前解码位置i下生成目标风格的倾向；

对应于方式B，步骤三中所采取的具体过程为：

其中，P(X|a)为在当前解码位置下的条件生成概率，P(x_i|x_＜i)为预训练语言模型在当前解码位置i时产生的概率分布，λ为超参数，f(a,P(x_≤i)为在当前解码位置i时对控制器的约束函数，P(a|x_＜i)为控制器在当前解码位置i时产生的概率分布，N代表总的解码位置数；

f(a,P(x_≤i))＝t_T/τ_T

其中，τ_T为设定的阈值。