[发明专利]基于神经网络对文本编码的方法、装置、设备及存储介质

摘要

本申请涉及神经网络领域，提供基于神经网络对文本编码的方法、装置、设备及存储介质，方法包括：编码器将训练文本转换为文本序列，根据目标词的左右相邻熵增加与目标词关联的关联词的权重；编码改进器根据各关联词的权重监控权重高于预设权重的目标关联词、监控与目标关联词关联的目标词；根据解码器的第一隐藏状态和第二隐藏状态更新编码质量判断条件；若编码结果的编码质量符合编码质量判断条件，则解码器对目标语言序列进行解码；若不符合则调整各源句子的向量表示，重复执行上述操作直至编码质量符合编码质量判断条件后，对目标语言序列进行解码。本方案使得源语言序列的向量表示持续向目标端表达的方向改善，进而改善翻译模型的效果。

主权项

1.一种基于神经网络对文本编码的方法，其特征在于，所述方法应用于机器翻译装置，所述机器翻译装置中部署机器翻译模型，所述机器翻译模型用于模拟整个翻译过程，所述机器翻译模型包括编码器、解码器和编码改进器；所述方法包括：/n所述编码器获取训练文本，将所述训练文本转换为文本序列，所述文本序列按照先后顺序依次输入编码器，根据多注意力模型对所述文本序列进行双向编码，得到编码结果，以及关注各目标词的左右相邻熵；/n所述编码器计算各目标词的左右相邻熵，根据目标词的左右相邻熵增加与目标词关联的关联词的权重，以及将所述文本序列中的各源句子分别初始化为向量表示；/n所述编码改进器根据各关联词的权重监控权重高于预设权重的目标关联词、以及监控与目标关联词关联的目标词；/n所述编码改进器从所述解码器接收解码器的第一隐藏状态和第二隐藏状态，根据所述第一隐藏状态和所述第二隐藏状态更新编码质量判断条件；/n所述编码改进器根据更新后的所述编码质量判断条件判断所述编码结果是否符合所述编码质量判断条件；/n若所述编码结果的编码质量符合所述编码质量判断条件，则所述解码器对所述目标语言序列进行解码；/n若所述编码结果的编码质量不符合所述编码质量判断条件，则所述解码器调整所述文本序列中的各源句子的向量表示，并重复执行从所述解码器接收解码器的第一隐藏状态和第二隐藏状态，根据所述第一隐藏状态和所述第二隐藏状态更新编码质量判断条件，以及根据更新后的所述编码质量判断条件判断所述编码结果是否符合所述编码质量判断条件的操作，直至编码质量符合所述编码质量判断条件后，对所述目标语言序列进行解码；所述第一隐藏状态为解码器当前的隐藏状态，所述第二隐藏状态为所述解码器上一次的隐藏状态。/n