[发明专利]基于神经网络对文本编码的方法、装置、设备及存储介质

说明书

本申请涉及神经网络领域，提供基于神经网络对文本编码的方法、装置、设备及存储介质，方法包括：编码器将训练文本转换为文本序列，根据目标词的左右相邻熵增加与目标词关联的关联词的权重；编码改进器根据各关联词的权重监控权重高于预设权重的目标关联词、监控与目标关联词关联的目标词；根据解码器的第一隐藏状态和第二隐藏状态更新编码质量判断条件；若编码结果的编码质量符合编码质量判断条件，则解码器对目标语言序列进行解码；若不符合则调整各源句子的向量表示，重复执行上述操作直至编码质量符合编码质量判断条件后，对目标语言序列进行解码。本方案使得源语言序列的向量表示持续向目标端表达的方向改善，进而改善翻译模型的效果。

技术领域

本申请涉及神经网络技术领域，尤其涉及一种基于神经网络对文本编码 的方法、装置、设备及存储介质。

背景技术

在机器翻译领域中，一般采用Transformer神经网络机器翻译模型实现多 语种翻译。Transformer神经网络机器翻译模型使用一个解码器-编码器的结构 来模拟整个翻译过程。编码器将输入Transformer神经网络机器翻译模型的文 本分解为词汇量级的表达，并根据词频统计和双向编码原理将词汇表示为数 字集合的形式，即词向量形式，编码器输出的向量能够精炼文本中各句子的 内容。

但是，如果输入的文本质量不高或者语义较难理解，那么在编码器编码 时可能出现问题。在人工翻译一段文本时，人们通常会对源句子有一个初始 化的理解，再根据语义逐渐改善语义理解，并向目标语言逐渐靠拢。在传统 的Transformer神经网络机器翻译模型中，编码器只对源句子进行一次初始化 编码，相较于人工翻译过程中对源句子的初始理解时编码器只对源句子进行 一次初始化编码的情况，当源句子为长难句或者语义关系复杂的句子时，则 会导致编码端的输出结果不理想，进而影响后续对Transformer神经网络机器 翻译模型的训练，以及目标句的输出效果。

发明内容

本申请提供了一种基于神经网络对文本编码的方法、装置、设备及存储 介质，能够解决现有技术中机器翻译长难句或者语义关系复杂的句子时，编 码端的输出结果不理想的问题。

第一方面，本申请提供一种基于神经网络对文本编码的方法，所述方法 应用于机器翻译装置，所述机器翻译装置中部署机器翻译模型，所述机器翻 译模型用于模拟整个翻译过程，所述机器翻译模型包括编码器、解码器和编 码改进器；所述方法包括：

所述编码器获取训练文本，将所述训练文本转换为文本序列，所述文本 序列按照先后顺序依次输入编码器，根据多注意力模型对所述文本序列进行 双向编码，得到编码结果，以及关注各目标词的左右相邻熵；

所述编码器计算各目标词的左右相邻熵，根据目标词的左右相邻熵增加 与目标词关联的关联词的权重，以及将所述文本序列中的各源句子分别初始 化为向量表示；

所述编码改进器根据各关联词的权重监控权重高于预设权重的目标关联 词、以及监控与目标关联词关联的目标词；

所述编码改进器从所述解码器接收解码器的第一隐藏状态和第二隐藏状 态，根据所述第一隐藏状态和所述第二隐藏状态更新编码质量判断条件；

所述编码改进器根据更新后的所述编码质量判断条件判断所述编码结果 是否符合所述编码质量判断条件；

若所述编码结果的编码质量符合所述编码质量判断条件，则所述解码器 对所述目标语言序列进行解码；

若所述编码结果的编码质量不符合所述编码质量判断条件，则所述解码 器调整所述文本序列中的各源句子的向量表示，并重复执行从所述解码器接 收解码器的第一隐藏状态和第二隐藏状态，根据所述第一隐藏状态和所述第 二隐藏状态更新编码质量判断条件，以及根据更新后的所述编码质量判断条 件判断所述编码结果是否符合所述编码质量判断条件的操作，直至编码质量 符合所述编码质量判断条件后，对所述目标语言序列进行解码；所述第一隐 藏状态为解码器当前的隐藏状态，所述第二隐藏状态为所述解码器上一次的 隐藏状态。