[发明专利]一种基于可随机访问的点互信息的词表示学习方法

权利要求书

1.一种基于可随机访问的点互信息的词表示学习方法，其特征在于包括以下步骤：

步骤A.准备大规模无标注文本语料库；

步骤B.扫描所述语料库并统计词对，得到词共现矩阵；

步骤C.用基于GloVe模型的大规模矩阵随机访问方法实现对词共现矩阵的随机访问，得到该矩阵的元素的近似值；

步骤D.用随机访问得到的词共现矩阵的元素的近似值计算点互信息；

步骤E.基于点互信息计算注意力权重，将注意力权重应用于Skip-gram或GloVe模型进行词表示学习，得到目标词表示。

2.如权利要求1所述一种基于可随机访问的点互信息的词表示学习方法，其特征在于在步骤C中，用基于GloVe模型的大规模矩阵随机访问方法实现对词共现矩阵的随机访问，得到该矩阵的元素的近似值，包括：

C1.使用所述词共现矩阵、GloVe模型以及公式1训练得到词向量和词向量偏置；

训练GloVe模型的损失函数，如下所示：

其中，v_i、b_i表示第i个词的词向量和词向量偏置，分别表示第j个词的上下文词向量和上下文词向量偏置，v_i、b_i、都是训练参数，Value为要随机访问的矩阵，该矩阵为非负方阵，Value_ij表示要随机访问的矩阵的第i行j列的值；Freq为频数矩阵，Freq_ij为元素Value_ij的频数；因为当前要随机访问的矩阵Value是词共现矩阵，该词共现矩阵就是频数矩阵Freq，因此本方法在训练GloVe模型的时候使用的是Freq_ij＝Value_ij；

C2.通过公式2或公式3计算所述词共现矩阵中词w_i和词w_j共现频数的近似值；

因为模型训练的目标是让损失函数J极小化且函数J的取值是非负的，所以训练时会让函数J的值趋向于0，得到以下等式：

在所述步骤B统计词共现矩阵时，若未忽略单词的先后顺序，则使用公式2计算Value_ij，若选择了忽略单词的先后顺序，则统计获得的共现矩阵将是对称的，此时用如下公式3计算Value_ij：

当基于GloVe模型训练出v_i、b_i、这些参数后，用公式2或公式3来计算Value_ij，从而达到快速随机访问Value矩阵中的元素，Value矩阵因过于巨大不能载入内存，但是这些训练出的参数是可以完全载入到内存的。

3.如权利要求1所述一种基于可随机访问的点互信息的词表示学习方法，其特征在于在步骤C中，用基于GloVe模型的大规模矩阵随机访问方法实现对词共现矩阵的随机访问，得到该矩阵的元素的近似值，还包括：

权利要求2中是将基于GloVe模型的大规模矩阵随机访问方法用于访问词共现矩阵，此处的词共现矩阵是非负方阵；

基于GloVe模型的大规模矩阵随机访问方法还应用于访问其他任意的大规模矩阵，访问方法如下：

(1)先将所述大规模矩阵中的所有元素加上相同常数，使其成为非负矩阵Value’；

(2)让非负矩阵Value’添加零元，进一步扩展成非负方阵Value”；

(3)将非负方阵Value”作为要随机访问的矩阵，按照所述步骤C1、C2处理；其中，对于步骤C1中的公式1，若无法获得频数矩阵Freq，则将Freq_ij都设置为1。