[发明专利]利用语料库训练稠密词向量的方法及装置

权利要求书

1.一种利用语料库训练稠密词向量的方法，其特征在于，包括：

遍历语料库获取语句，进行以下词向量训练：

通过移动采样窗口，获取所述语句中的词；

建立目标函数公式，包括：

P(w_c)＝log(sig(w_l*w_c))-1/m*(log(sig(w_1*w_c))+...+(log(sig(w_m*w_c)))

其中，sig是sigmoid函数，w_c为中心词的词向量，w_l为任一词的词向量，w_1,...,w_m为所述语料库中任意m个所述词的词向量；

通过目标函数算法，获取所述词的词向量，包括：

通过梯度下降算法计算所述中心词的词向量以及所述任一词的词向量；以及

由通过梯度下降算法计算得到的所述中心词的词向量与所述任一词的词向量，替换原有的所述中心词的词向量与所述任一词的词向量。

2.如权利要求1所述的方法，其特征在于，还包括：

在所述语料库遍历结束之后，判断是否满足预定条件；以及

如果满足预定条件，则结束所述词向量训练。

3.如权利要求1所述的方法，其特征在于，通过移动采样窗口，获取所述语句中的词，包括：

通过采样窗口，选取所述语句中连续的n个词；

其中，n为所述采样窗口的宽度。

4.如权利要求1所述的方法，其特征在于，通过目标函数算法，获取所述词的词向量，包括：

通过目标函数算法，获取所述语句中两个所述词的词向量；

判断所述采样窗口中是否包含所述语句中最后一个词；以及

根据判断结果，进行处理。

5.如权利要求4所述的方法，其特征在于，根据判断结果，进行处理，包括：

如果所述采样窗口中未包含所述语句中最后一个词，将采样窗口在所述语句中向后移动一个词，再次获取所述语句中的词。

6.如权利要求4所述的方法，其特征在于，通过目标函数算法，获取所述语句中两个所述词的词向量，包括：

获取n个词的中心词；以及

获取所述n个词中任一词；

其中，n为所述采样窗口的宽度，n为正整数。

7.如权利要求4所述的方法，其特征在于，通过目标函数算法，获取所述语句中两个所述词的词向量，包括：

获取所述语料库中任意m个所述词；以及

建立目标函数公式；

其中，m为正整数。

8.如权利要求1所述的方法，其特征在于，通过梯度下降算法计算所述中心词的词向量以及所述任一词的词向量，包括：

分别获取w_l和w_c的梯度g_l、g_c；

在梯度方向上增加w_l的值，w_l＝w_l+x*g_l；以及

在梯度方向上增加w_c的值，w_c＝w_c+x*g_c；

其中，w_c为所述中心词的词向量，w_l为所述任一词的词向量，g_l为w_l的梯度，g_c为w_c的梯度，x为一预定数值。

9.如权利要求2所述的方法，其特征在于，还包括：

如果不满足所述预定条件，则再次利用所述语料库进行所述词向量的计算。

10.如权利要求2所述的方法，其特征在于，在所述语料库遍历结束之后，判断是否满足预定条件，包括：

计算预定的所述词的所述词向量之间的矩阵差；以及

如果所述矩阵差小于一预定数值，则结束本次所述词向量训练。

11.如权利要求1所述的方法，其特征在于，所述采样窗口的宽度小于或等于所述语句的长度。

12.如权利要求1所述的方法，其特征在于，还包括：

预先确定所述词向量的维度。