[发明专利]一种对未登录词生成仿真词向量的方法及装置

说明书

本申请实施例提供了一种对未登录词生成仿真词向量的方法及装置，为了解决未登录词问题，从已知的词向量空间中，获取未登录词的n元语法分词在词向量空间中的子集；然后，根据子集中n元语法分词的词向量，生成子集向量；然后，获取未登录词的完全随机向量；最后，将子集向量和未登录词的完全随机向量进行加权求和，生成未登录词的仿真词向量。本申请的技术方案生成的仿真词向量中，子集向量加权的部分，使仿真词向量具有与未登录词语义关联的特性，完全随机向量加权的部分，使仿真词向量具有灵活多变的特性，由于同时具备这两种特性，使用本申请生成的仿真词向量在对话系统中生成的应答准确率高，又能够灵活多变而具有应答多样性。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种对未登录词生成仿真词向量的方法及装置。

背景技术

随着自然语言处理技术的发展，基于自然语言处理技术建立起来的对话系统也得到了广泛的应用，常用的对话系统例如聊天机器人，能够根据用户输入的聊天内容，自动生成相应地应答。

现有技术中，对话系统根据不同的应答方法可分为基于知识库的检索式对话系统和基于深度学习模型的生成式对话系统。其中，基于深度学习模型的对话系统，通过建立一个基于RNN(递归神经网络：Recurrent Neural Networks)的对话模型，并使用该模型进行大量的语料训练，使对话模型能够从问答对中学习到对未知对话的潜在应答模式，从而其回答内容不仅局限于训练语料中已有的知识。

基于深度学习模型的对话系统在进行语料训练和语料应答时，以词向量为操作对象，词向量是对语料中分词的一种数学化的表达形式。词向量在深度学习中的贡献是：通过将两个词向量计算余弦夹角或欧氏距离，能够得到两个分词的距离，两个分词的距离越小，表示两个分词的相似度越高。在对话系统的训练过程中，会根据训练语料生成包含已知分词词向量的词向量空间；在对话系统的应答过程中，根据问题分词的词向量与已知分词的词向量之间的距离，并结合机器学习的算法生成问题的应答内容。

但是，基于语料训练得到的词向量空间对于专业领域的业务术语、方言词汇、外文、组合词的包含能力较差，因此，在问题内容不受限的开放式对话系统中，对话系统经常会遇到未登录词(OOV：out-of-vocabulary)，未登录词也称集外词，是指词向量空间中未包含的分词。当对话系统遇到包含未登录词的问题时，其给出应答内容的准确率就会下降，这种情况被称为未登录词(OOV)问题。目前，现有技术对未登录词问题缺乏有效的解决办法。

发明内容

本申请实施例提供了一种对未登录词生成仿真词向量的方法及装置，以解决现有技术中存在的问题。

第一方面，本申请实施例提供了一种对未登录词生成仿真词向量的方法，所述方法包括：

从已知的词向量空间中，获取未登录词的n元语法分词在词向量空间中的子集；所述子集为非空集或空集，当所述子集为非空集时，所述子集包含所述未登录词的至少一个n元语法分词；

当所述子集为非空集时，根据所述子集中n元语法分词的词向量，生成子集向量；

获取所述未登录词的完全随机向量；

将所述子集向量和所述未登录词的完全随机向量进行加权求和，生成所述未登录词的仿真词向量。

第二方面，本申请实施例提供了一种对未登录词生成仿真词向量的装置，所述装置包括：

子集获取模块，用于从已知的词向量空间中，获取未登录词的n元语法分词在词向量空间中的子集；所述子集为非空集或空集，当所述子集为非空集时，所述子集包含所述未登录词的至少一个n元语法分词；

子集向量生成模块，用于当所述子集为非空集时，根据所述子集中n元语法分词的词向量，生成子集向量；

完全随机向量获取模块，用于获取所述未登录词的完全随机向量；