[发明专利]开放性文本生成方法以及存储介质

权利要求书

1.一种开放性文本生成方法，其特征在于：该开放性文本生成方法包括如下步骤：

步骤1：词编码步骤，用于对文本进行预处理，以及文本的预编码，获得词编码的结果；

步骤2：语言模型处理步骤，用于根据词编码的结果，生成下个词的概率分布；

步骤3：中间处理步骤，用于处理下个词的概率分布和语言模型中最后一个解码器层的隐层向量序列以提供给解码步骤，以执行训练或字符预测；

步骤4：解码步骤，用于根据语言模型处理步骤对文本的编码提供的输入进行训练或者字符预测以生成文本；并且，

所述语言模型采用的是基于Transformer语言模型；

所述中间处理步骤包括：

子步骤1)：将隐层向量序列作为输入A；

子步骤2)：根据文本的字符序列和语言模型输出的下个词概率分布序列，计算得到文本的信息量序列，并将该文本信息量序列作为训练目标Y；

子步骤3)：将训练目标Y右移并在首位补0得到输出信息序列B；

子步骤4)：根据下个词概率分布序列，计算每个概率分布的熵得到熵序列C；

子步骤5)：将输入信息量序列B和熵序列C进行拼接处理作为解码模型的信息嵌入A，将语言模型输出的最后一层logistics向量作为语义嵌入熵序列C，信息嵌入、语义嵌入与训练目标作为中间处理层的输出结果；

所述解码步骤包括如下子步骤：

a)对输入的信息嵌入A和语义嵌入C进行线性映射并投影到相同维度得到A'和C'，初始化距离嵌入P，将A'，C'，P相加得到解码模型的语义理解目标S；

b)利用M个包含多头注意力层和前向连接层的Transformer解码模块对合并后的语义理解目标S进行处理，其中M为正整数；

c)将M个Transformer解码模块最终输出的语义向量映射为一个一维的预测信息量序列，并与真实信息量序列进行拟合，使用L1正则损失来拟合误差；

d)在生成阶段，从最后一个词的概率分布D_n中选择信息量最接近解码模块输出的预测信息量P_n+1的字符作为生成的字符。

2.根据权利要求1所述的开放性文本生成方法，其特征在于：

在生成阶段，通过如下方式获取生成的字符：从下个词的概率分布中选择最接近的K个字符进行采样来得到候选字符，K为用户自定义筛选数。

3.根据权利要求1-2任意一项所述的开放性文本生成方法，其特征在于：该开放性文本生成方法还包括如下步骤：

清洗步骤，其被用于清洗训练文本。

4.根据权利要求1-2任意一项所述的开放性文本生成方法，其特征在于：该开放性文本生成方法还包括如下步骤：

利用权利要求1-2任意一项所述的开放性文本生成方法，迭代式地生成不同长度的文本，在遇到结束符或者用户定义长度时结束。

5.一种存储介质，该存储介质上存储有计算机可读代码，其特征在于：处理器读取该计算机可读代码，用于执行前述权利要求1-4任意一项所述的开放性文本生成方法。