[发明专利]一种基于神经网络的翻译方法及装置

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种基于神经网络的翻译方法及装置。

背景技术

当前在统计机器翻译过程中，由于统计机器翻译的翻译模型是从训练数据中自动学习得到，对于没有在翻译模型训练的语料中出现过的词，翻译模型无法生成该词对应的翻译，从而出现未登录词的现象。其中，上述未登录词为未在翻译模型的训练的语料中出现过的词，翻译模型对其进行翻译得到的结果一般为原样输出或者输出为“未知(UNK)”。在统计机器翻译中，尤其是跨领域(比如在新闻领域的语料中训练得到的翻译模型用在通信领域中翻译)的机器翻译中，由于翻译模型训练的语料难以覆盖全部词汇，导致机器翻译结果中出现未登录词原样输出等现象的概率高，翻译效果差。

现有技术一通过加大训练语料使得训练语料更多的覆盖多种语言学现象，以此提高机器翻译的准确率，降低出现未登录词的现象的概率。然而，加大训练语料需要更多的词语资源，需要更多的双语专家的人工参与，实现成本高，可操作性低。

现有技术二借用词典进行直接翻译或者间接翻译，以期从词典中查找得到未登录词或者与未登录词语义相近的词语，通过借助词典来确定未登录词的词义。然而，构建双语词典或者语义词典的难度并不比构建双语训练语料的难度低，而且借助词典还需要对词典进行及时更新和维护。网络文本数据中的新词更新频率高，及时更新和维护词典的可操作性差，实现难度高，使得机器翻译借助词典的实现难度大，成本高。

发明内容

本申请提供了一种基于神经网络的翻译方法及装置，可提高未登录词的翻译可操作性，降低了机器翻译的翻译成本，提高了机器翻译的翻译质量。

第一方面提供了一种基于神经网络的翻译方法，其可包括：

获取待翻译句子的初始译文，所述初始译文中携带未登录词；

将所述初始译文中的未登录词拆分为字，并将所述未登录词拆分得到的字组成的字序列输入第一多层神经网络，所述字序列中包含至少一个字；

通过所述第一多层神经网络获取所述字序列中每个字的字向量，并将所述字序列的所有字向量输入第二多层神经网络；

使用所述第二多层神经网络和预置的常用词数据库，对所述所有字向量进行编码以获取所述字序列对应的语义向量；

将所述语义向量输入第三多层神经网络，通过第三多层神经网络对所述语义向量进行解码并结合所述待翻译句子的初始译文确定所述待翻译句子的最终译文，所述最终译文中携带所述未登录词的译文。

本申请可提高未登录词的翻译的可操作性，降低了机器翻译的成本，提高了机器翻译的准确率，进而提高了翻译质量。

结合第一方面，在第一种可能的实现方式中，所述预置的常用词数据库包括词典、语言学规则以及网络使用词数据库中的至少一种。

本申请采用常用词数据库可提供组词的准确性，降低了字序列对应的语义向量含义的确定的噪点。

结合第一方面或者第一方面第一种可能的实现方式，在第二种可能的实现方式中，所述使用所述第二多层神经网络和预置的常用词数据库，对所述所有字向量进行编码以获取所述字序列对应的语义向量包括：

使用所述第二多层神经网络根据所述常用词数据库提供的词汇信息确定所述字序列的字向量的至少一种组合方式，每个组合方式确定的字向量组合对应一个含义；

将所述至少一种组合方式确定的至少一个字向量组合的至少一个含义进行压缩编码以得到所述语义向量。

本申请可提供组词的准确性，降低了字序列对应的语义向量含义的确定的噪点，提高翻译的效率。

结合第一方面第二种可能的实现方式，在第三种可能的实现方式中，所述通过第三多层神经网络对所述语义向量进行解码并结合所述待翻译句子的初始译文确定所述待翻译句子的最终译文包括：

通过所述第三多层神经网络对所述语义向量进行解码以确定所述语义向量包含的至少一个含义，并根据所述初始译文中所述未登录词的上下文含义从所述语义向量包含的至少一个含义中选择目标含义；

根据所述目标含义和所述初始译文中所述未登录词的上下文含义确定所述待翻译句子的最终译文。

本申请通过多层神经网络对语义向量进行解码，并结合未登录词的上下文含义确定未登录词的含义，提高了未登录词翻译的准确性，提高翻译质量。

结合第一方面至第一方面第三种可能的实现方式中任一种，在第四种可能的实现方式中，所述未登录词包括：缩略词、专有名词、派生词以及复合词中的至少一种。