[发明专利]一种对未登录词生成仿真词向量的方法及装置

权利要求书

1.一种对未登录词生成仿真词向量的方法，其特征在于，所述方法包括：

从已知的词向量空间中，获取未登录词的n元语法分词在词向量空间中的子集；所述子集为非空集或空集，当所述子集为非空集时，所述子集包含所述未登录词的至少一个n元语法分词；

当所述子集为非空集时，根据所述子集中n元语法分词的词向量，生成子集向量；

获取所述未登录词的完全随机向量；

当所述子集为非空集时，将所述子集向量和所述未登录词的完全随机向量进行加权求和，生成所述未登录词的仿真词向量；

当所述子集为空集时，将所述未登录词的完全随机向量作为所述仿真词向量。

2.根据权利要求1所述的方法，其特征在于，所述从已知的词向量空间中，获取未登录词的n元语法分词在词向量空间中的子集的步骤包括：

步骤S111，获取所述未登录词的字符长度L；

步骤S112，获取所述未登录词的所有L-M元语法分词，M初始值为1，且L-M≥1；

步骤S113，查找所述L-M元语法分词在词向量空间中是否存在；

如果存在，跳转至步骤S114；

如果不存在，且L-M＞1，则将M的当前值加1，跳转至步骤S112；

如果不存在，且L-M＝1，则所述子集为空集；

步骤S114，对所有存在于词向量空间中的所述L-M元语法分词生成所述子集。

3.根据权利要求2所述的方法，其特征在于，所述当所述子集为非空集时，根据所述子集中n元语法分词的词向量，生成子集向量的步骤包括：

获取所述子集中n元语法分词的数量k；

当k＝1时，将所述子集中唯一的n元语法分词的词向量作为所述子集向量；

当k≥1时，所述子集向量为所述子集中k个n元语法分词的几何中心向量，所述几何中心向量根据以下公式计算得出：

其中，V为所述几何中心向量，V1～Vk为所述子集中k个n元语法分词的词向量。

4.根据权利要求1所述的方法，其特征在于，所述从已知的词向量空间中，获取未登录词的n元语法分词在词向量空间中的子集的步骤包括：

步骤S116，获取所述未登录词的字符长度L；

步骤S117，获取所述未登录词的所有字符连续的L-M元语法分词，M初始值为1，且L-M≥1；

步骤S118，逐一查找已获取的所述L-M元语法分词在词向量空间中是否存在；

如果找到一个所述L-M元语法分词在词向量空间中存在，停止查找剩余的所述L-M元语法分词，执行步骤S119；

如果不存在，且L-M＞1，则将M的当前值加1，跳转至步骤S117；

如果不存在，且L-M＝1，则所述子集为空集；

步骤S119，对查找到的一个存在于词向量空间中的所述L-M元语法分词，生成所述子集。

5.根据权利要求4所述的方法，其特征在于，所述当所述子集为非空集时，根据所述子集中n元语法分词的词向量，生成子集向量的步骤包括：

将所述子集中唯一的所述n元语法分词的词向量作为所述子集向量。

6.根据权利要求1所述的方法，其特征在于，所述将所述子集向量和所述未登录词的完全随机向量进行加权求和，生成所述未登录词的仿真词向量的步骤，使用以下公式：

Y＝Vrd×C1+V×C2

其中，Y为未登录词的仿真词向量，Vrd为未登录词的完全随机向量，V为子集向量，C1和C2为加权系数，且C1+C2＝1，C2＞C1。

7.根据权利要求1所述的方法，其特征在于，所述获取未登录词的完全随机向量的步骤包括：

获取完全随机向量预设的维度T；

在T个维度上随机赋予[-1，1]之间的任意数值，生成一个T维的向量X；

对向量X进行归一化处理，生成所述未登录词完全随机向量。