[发明专利]文本生成方法和文本生成模型的训练方法、装置

说明书

本公开提供了一种文本生成方法和文本生成装置的训练方法、装置，涉及人工智能领域，具体涉及深度学习、自然语言处理和智能语音等技术领域。文本生成方法的具体实现方案为：预处理待处理文本，得到嵌入特征序列，嵌入特征序列包括与文本单元对应的嵌入特征；将嵌入特征序列输入由解码单元构成的注意力网络，得到注意力网络输出的文本特征序列；以及对文本特征序列进行解码，生成待处理文本的在后文本，解码单元被配置为执行以下操作：采用注意力机制对输入的特征序列进行编码，得到第一特征序列；根据隐藏状态特征调整第一特征序列，得到第二特征序列；隐藏状态特征表征待处理文本的在前文本的语义；以及根据第二特征序列更新隐藏状态特征。

技术领域

本公开涉及人工智能领域，具体涉及深度学习、自然语言处理和智能语音等技术领域，尤其涉及一种文本生成方法和文本生成模型的训练方法、装置、设备、介质。

背景技术

随着计算机技术和网络技术的发展，基于视觉的自注意力机制得到广泛应用。例如，在自然语言处理领域中，可以依赖于自注意力机制来捕捉文本中长距离的语义特征。但由于自注意力机制的编码长度受限，自注意力机制通常无法记住长期信息。

发明内容

本公开旨在提供一种可以利用长期记忆来生成文本的文本生成方法、装置、电子设备和存储介质，旨在提高生成的文本的准确性。

根据本公开的一个方面，提供了一种文本生成方法，包括：对待处理文本进行预处理，得到嵌入特征序列，嵌入特征序列包括与待处理文本中文本单元对应的嵌入特征；将嵌入特征序列输入由编码单元构成的注意力网络，得到注意力网络输出的文本特征序列；以及对文本特征序列进行解码，生成待处理文本的在后文本，其中，编码单元被配置执行以下操作：采用注意力机制对输入的特征序列进行编码，得到第一特征序列；根据隐藏状态特征调整第一特征序列，得到第二特征序列；隐藏状态特征表征待处理文本的在前文本的语义；以及根据第二特征序列更新隐藏状态特征。

根据本公开的另一个方面，提供了一种文本生成模型的训练方法，其中，文本生成模型包括预处理网络、注意力网络和解码网络；注意力网络由编码单元构成，训练方法包括：采用预处理网络对文本序列中的每个目标文本进行预处理，得到嵌入特征序列，嵌入特征序列包括与每个目标文本中文本单元对应的嵌入特征；将嵌入特征序列输入注意力网络，得到注意力网络输出的文本特征序列；采用解码网络对文本特征序列进行解码，生成每个目标文本的预测在后文本；以及根据预测在后文本和文本序列中每个目标文本的相邻在后文本，对文本生成模型进行训练；其中，编码单元被配置为对执行以下操作：采用注意力机制对输入的特征序列进行编码，得到第一特征序列；根据隐藏状态特征调整第一特征序列，得到第二特征序列；隐藏状态特征表征每个目标文本的在前文本的语义；以及根据第二特征序列更新隐藏状态特征。

根据本公开的另一个方面，提供了一种文本生成装置，包括：预处理模块，用于对待处理文本进行预处理，得到嵌入特征序列，嵌入特征序列包括与待处理文本中文本单元对应的嵌入特征；文本特征获得模块，用于将嵌入特征序列输入由编码单元构成的注意力网络，得到注意力网络输出的文本特征序列；以及特征解码模块，用于对文本特征序列进行解码，生成待处理文本的在后文本，其中，特征序列获得模块包括：编码子模块，用于针对编码单元，采用注意力机制对输入的特征序列进行编码，得到第一特征序列；调整子模块，用于根据隐藏状态特征调整第一特征序列，得到第二特征序列；隐藏状态特征表征待处理文本的在前文本的语义；以及更新子模块，用于根据第二特征序列更新隐藏状态特征。