[发明专利]用于生成同语言平行文本的方法和装置

说明书

本申请公开了用于生成同语言平行文本的方法和装置。该方法的一具体实施方式包括：获取源切分词序列和预先训练的词向量表；根据词向量表，确定与源切分词序列对应的源词向量序列；将源词向量序列导入预先训练的第一循环神经网络模型，生成用于表征源切分词序列的语义的预设维数的中间向量；将中间向量导入预先训练的第二循环神经网络模型，生成与中间向量对应的目标词向量序列；根据词向量表，确定与目标词向量序列对应的目标切分词序列，并将目标切分词序列确定为与源切分词序列对应的同语言平行文本。该实施方式降低了生成同语言平行文本的算法复杂性，减少了所需存储空间。

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及用于生成同语言平行文本的方法和装置。

背景技术

人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能领域中的自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。为一个文本生成与该文本语言相同语义相似的同语言平行文本是自然语言处理中的重要组成部分。同语言平行文本的应用场合很多，作为示例，目前，搜索引擎在对用户输入的查询语句(query)进行检索时，由于用户输入查询语句的随意性，如果使用用户输入的查询语句进行检索，往往效果不好，为了能够获得更好的检索效果，通常都会对查询语句生成同语言平行文本，然后用所生成的同语言平行文本进行检索。

然而，目前在生成一个文本的同语言平行文本时，通常是预先采用统计对齐算法或者规则对齐算法，基于平行语料库生成替换词典；然后，根据先验知识和替换词典，生成替换后的同语言平行文本。现有的生成同语言平行文本的方法，对齐算法复杂，需要人工干预较多，所生成的替换词典准确率低，而且需要存储替换词典，通常替换词典的所需存储空间大小都在几千兆字节，从而存在着所需存储空间大的问题。

发明内容

本申请的目的在于提出一种改进的用于生成同语言平行文本的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种用于生成同语言平行文本的方法，该方法包括：获取源切分词序列和预先训练的词向量表，其中，上述词向量表用于表征词与词向量之间的对应关系；根据上述词向量表，确定与上述源切分词序列对应的源词向量序列；将上述源词向量序列导入预先训练的第一循环神经网络模型，生成用于表征上述源切分词序列的语义的预设维数的中间向量，其中，上述第一循环神经网络模型用于表征词向量序列与上述预设维数的向量之间的对应关系；将上述中间向量导入预先训练的第二循环神经网络模型，生成与上述中间向量对应的目标词向量序列，其中，上述第二循环神经网络模型用于表征上述预设维数的向量与词向量序列之间的对应关系；根据上述词向量表，确定与上述目标词向量序列对应的目标切分词序列，并将上述目标切分词序列确定为与上述源切分词序列对应的同语言平行文本。

在一些实施例中，上述获取源切分词序列和预先训练的词向量表之前，上述方法还包括：接收用户使用终端发来的查询请求，上述查询请求包括查询语句；对上述查询语句进行预处理，得到上述查询语句的切分词序列，上述预处理包括分词处理和去除特殊符号；将所得到的切分词序列确定为源切分词序列。

在一些实施例中，上述将上述目标切分词序列确定为与上述源切分词序列对应的同语言平行文本之后，上述方法还包括：根据上述同语言平行文本进行搜索，得到搜索结果；将上述搜索结果发送至上述终端。