[发明专利]一种基于情感预训练模型的故事结尾生成方法

权利要求书

1.一种基于情感预训练模型的故事结尾生成方法，其特征在于，包括如下步骤：通过故事线提取模块抽取故事内容的关键信息，训练一个用于判别故事中输入每句话情感和实时判别每个时刻输出的故事结尾情感的情感判别器，通过情感判别器判别故事中输入每句话的情感训练一个利用前四句故事隐向量预测结尾期望情感的情感预测模型，计算生成过程中情感判别器实时判别每个时刻输出的故事结尾情感和情感预测模型的期望情感之间的差距反向传播获得情感梯度，根据情感判别器返回的情感梯度更新GPT-2模型的内部历史状态，使故事中输入每句话的情感接近期望情感的情感属性，控制GPT-2模型自动生成与期望情感一致的故事结尾文本。

2.根据权利要求1所述的一种基于情感预训练模型的故事结尾生成方法，其特征在于，所述情感判别器和情感预测模型的训练步骤如下：

S1，抽取故事中的故事线，将其拼接到原始故事的结尾增强数据；

S2，通过交叉熵损失函数训练能自左向右自动回归生成句子的GPT-2模型，通过步骤S1中故事线的增强数据来微调GPT-2模型参数；

S3，冻住步骤S2中的GPT-2模型参数，通过SST-5数据集训练一个用于判别故事中输入每句话情感和实时判别每个时刻输出的故事结尾情感的情感判别器；

S4，通过步骤S3中的情感判别器判别故事中输入每句话的情感的情感向量来训练一个利用前四句故事的隐向量来预测我们结尾所期望情感的情感预测模型。

3.根据权利要求2所述的一种基于情感预训练模型的故事结尾生成方法，其特征在于，所述步骤S2中训练GPT-2模型的交叉熵损失函数，优化目标为最大化如下似然：

其中，表示损失函数，P表示概率，u_i为训练语料中第i个词汇，k为窗口大小。

4.根据权利要求2所述的一种基于情感预训练模型的故事结尾生成方法，其特征在于，所述控制GPT-2模型自动生成故事结尾文本的步骤如下：

S5.生成过程中，通过交叉熵损失函数计算步骤S3中训练的情感判别器实时判别每个时刻输出的故事结尾情感和步骤S4中训练的情感预测模型的期望情感之间的情感差距；

S6.通过步骤S5中所计算的情感差距反向传播获得情感梯度，将情感梯度当作扰动添加到GPT-2模型的隐向量中，用于下一个词的计算；根据情感判别器返回的梯度，更新GPT-2模型内部历史状态H_t，然后根据得到的新的输出概率分布进行采样并生成新的单词o_t+1；

S7.通过步骤S6的情感梯度反馈，将情感预测模型内部的历史状态H更新为再通过GPT-2模型根据新历史来生成更接近步骤S4中所计算的期望情感所需求的句子；

S8.通过softmax函数生成按位置的前馈层产生目标词条的输出分布，生成故事结尾文本，再通过贝叶斯公式将生成过程重写如下：

p(x|a)∝p(a|x)p(x)

其中，a表示情感属性，x表示文本，p(x|a)表示在情感a上生成文本x的概率，p(a|x)表示情感判别器鉴别文本x属于情感属性a的概率，p(x)表示GPT-2模型建模过程中文本的生成概率。

控制GPT-2模型生成与期望情感一致的故事结尾文本，生成过程的解码器输出的结果为产生文字序列的下标，且每个文字在词典中都有唯一的标识，根据下标找到对应文字。

5.根据权利要求4所述的一种基于情感预训练模型的故事结尾生成方法，其特征在于，所述步骤S5中计算情感判别器实时判别每个时刻输出的故事结尾情感和情感预测模型的期望情感之间情感差距的损失函数如下：

其中，表示损失函数，E_p表示情感预测模型所预测故事结尾期望情感的情感向量，E₅为训练语料中情感判别器实时判别每个时刻输出的故事结尾情感的情感向量，训练语料为ROC-stories公开数据集。