[发明专利]基于神经网络对文本编码的方法、装置、设备及存储介质

权利要求书

1.一种基于神经网络对文本编码的方法，其特征在于，所述方法应用于机器翻译装置，所述机器翻译装置中部署机器翻译模型，所述机器翻译模型用于模拟整个翻译过程，所述机器翻译模型包括编码器、解码器和编码改进器；所述方法包括：

所述编码器获取训练文本，将所述训练文本转换为文本序列，所述文本序列按照先后顺序依次输入编码器，根据多注意力模型对所述文本序列进行双向编码，得到编码结果，以及关注各目标词的左右相邻熵；

所述编码器计算各目标词的左右相邻熵，根据目标词的左右相邻熵增加与目标词关联的关联词的权重，以及将所述文本序列中的各源句子分别初始化为向量表示；

所述编码改进器根据各关联词的权重监控权重高于预设权重的目标关联词、以及监控与目标关联词关联的目标词；

所述编码改进器从所述解码器接收解码器的第一隐藏状态和第二隐藏状态，根据所述第一隐藏状态和所述第二隐藏状态更新编码质量判断条件；

所述编码改进器根据更新后的所述编码质量判断条件判断所述编码结果是否符合所述编码质量判断条件；

若所述编码结果的编码质量符合所述编码质量判断条件，则所述解码器对目标语言序列进行解码；

若所述编码结果的编码质量不符合所述编码质量判断条件，则所述解码器调整所述文本序列中的各源句子的向量表示，并重复执行从所述解码器接收解码器的第一隐藏状态和第二隐藏状态，根据所述第一隐藏状态和所述第二隐藏状态更新编码质量判断条件，以及根据更新后的所述编码质量判断条件判断所述编码结果是否符合所述编码质量判断条件的操作，直至编码质量符合所述编码质量判断条件后，对所述目标语言序列进行解码；所述第一隐藏状态为解码器当前的隐藏状态，所述第二隐藏状态为所述解码器上一次的隐藏状态；

所述根据多注意力模型对所述文本序列进行双向编码，得到编码结果，以及关注目标词的左右相邻熵，包括：

所述编码器将所述源句子中的构成元素作为由一系列的Key,Value数据对构成；

所述编码器从所述源句子中选择一个目标词的某个元素Query，计算所述Query和各个Key的相似性或者相关性，得到每个Key对应Value值的权重系数；

所述编码器对Value进行加权求和，得到所述源句子对应的注意Attention值；

所述编码器根据各源句子对应的注意Attention值对各源句子中的目标词进行双向编码，以及关注各目标词的左右相邻熵；

其中，权重系数的一种计算公式如下：

Attention值的一种计算公式如下：

其中，ai为权重系数，Lx＝||Source||代表源句子的长度，由于在计算Attention值的过程中，源句子中的Key和Value合二为一且指向的是同一个对象，所以向多关注模型中输入源句子中每个单词对应的语义编码。

2.根据权利要求1所述的方法，其特征在于，所述计算各目标词的左右相邻熵，根据目标词的左右相邻熵增加与目标词关联的关联词的权重，将所述文本序列中的各源句子分别初始化为向量表示，包括：

所述编码器分别计算目标词的左熵和右熵；计算目标词的左熵和右熵之间的最小值；

若目标词的左熵和右熵之间的最小值高于预设阈值，则所述编码器确定所述目标词与关联词之间存在相关性，并分别按照目标词的左熵和右熵增加与目标词关联的各关联词的权重。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述编码质量判断条件包括多个文本控制门，所述文本控制门用于从所述文本序列中查找最优的隐藏状态序列，文本控制门还可以用于判断所述文本序列中各源句子的语法是否正确，判断源句子的行数是否超出预设行数，用于判断所述文本序列中各源句子的字数是否超出预设次数，以及用于判断所述文本序列中各源句子的大小写是否正确。