[发明专利]词向量处理方法、装置以及设备

摘要

本说明书实施例公开了词向量处理方法、装置以及设备。所述方法包括：获取对语料分词得到的各词，建立各词的词向量，根据各词的词向量，以及各词在语料中的上下文词的词向量，对卷积神经网络进行训练，根据各词的词向量和训练后的卷积神经网络，获取各词的词向量的训练结果。

主权项

1.一种词向量处理方法，包括：

获取对语料分词得到的各词；

建立所述各词的词向量；

根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练；

根据所述各词的词向量和训练后的所述卷积神经网络，获取所述各词的词向量的训练结果。

2.如权利要求1所述的方法，所述建立所述各词的词向量，具体包括：

确定所述各词的总数量；

分别为所述各词建立维度为所述总数量的词向量，其中，所述各词的词向量互不相同，所述词向量中有一个元素为1，其余元素为0。

3.如权利要求1所述的方法，所述根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练，具体包括：

根据所述各词的词向量，以及所述各词在所述语料中的上下文词和负样例词的词向量，对卷积神经网络进行训练。

4.如权利要求3所述的方法，所述根据所述各词的词向量，以及所述各词在所述语料中的上下文词和负样例词的词向量，对卷积神经网络进行训练，具体包括：

对分词后的所述语料进行遍历，对遍历到的当前词执行：

确定当前词在分词后的所述语料中的一个或多个上下文词以及负样例词；

将当前词的上下文词的词向量输入卷积神经网络的卷积层进行卷积计算；

将卷积计算结果输入所述卷积神经网络的池化层进行池化计算，得到第一向量；

将当前词的词向量输入所述卷积神经网络的全连接层进行计算，得到第二向量，以及将当前词的负样例词的词向量输入所述卷积神经网络的全连接层进行计算，得到第三向量；

根据所述第一向量、所述第二向量、所述第三向量，以及指定的损失函数，更新所述卷积神经网络的参数。

5.如权利要求4所述的方法，所述进行卷积计算，具体包括：

按照如下公式，进行卷积计算：

其中，x_i表示第i个上下文词的词向量，x_i:i+θ‑1表示将第i～i+θ‑1个上下文词的词向量拼接得到的向量，y_i表示通过所述卷积计算得到的向量的第i个元素，ω表示卷积层的权重参数，ζ表示卷积层的偏置参数，σ表示激励函数。

6.如权利要求4所述的方法，所述进行池化计算，具体包括：

进行最大化池化计算或者平均池化计算。

7.如权利要求4所述的方法，所述根据所述第一向量、所述第二向量、所述第三向量，以及指定的损失函数，更新所述卷积神经网络的参数，具体包括：

计算所述第二向量与所述第一向量的第一相似度，以及所述第三向量与所述第一向量的第二相似度；

根据所述第一相似度、所述第二相似度，以及指定的损失函数，更新所述卷积神经网络的参数。

8.如权利要求4所述的方法，所述损失函数具体包括：

其中，c表示所述第一向量，w表示所述第二向量，w'_m表示第m个负样例词对应的所述第三向量，ω表示卷积层的权重参数，ζ表示卷积层的偏置参数，表示全连接层的权重参数，τ表示全连接层的偏置参数，γ表示超参数，s表示相似度计算函数，λ表示负样例词的数量。

9.如权利要求1所述的方法，所述根据所述各词的词向量和训练后的所述卷积神经网络，获取所述各词的词向量的训练结果，具体包括：

将所述各词的词向量分别输入训练后的所述卷积神经网络的全连接层进行计算，获得计算后输出的向量，作为对应的词向量训练结果。

10.一种词向量处理装置，包括：

获取模块，获取对语料分词得到的各词；

建立模块，建立所述各词的词向量；

训练模块，根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练；

处理模块，根据所述各词的词向量和训练后的所述卷积神经网络，获取所述各词的词向量的训练结果。

11.如权利要求10所述的装置，所述建立模块建立所述各词的词向量，具体包括：

所述建立模块确定所述各词的总数量；

分别为所述各词建立维度为所述总数量的词向量，其中，所述各词的词向量互不相同，所述词向量中有一个元素为1，其余元素为0。

12.如权利要求10所述的装置，所述训练模块根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练，具体包括：

所述训练模块根据所述各词的词向量，以及所述各词在所述语料中的上下文词和负样例词的词向量，对卷积神经网络进行训练。

13.如权利要求12所述的装置，所述训练模块根据所述各词的词向量，以及所述各词在所述语料中的上下文词和负样例词的词向量，对卷积神经网络进行训练，具体包括：

所述训练模块对分词后的所述语料进行遍历，对遍历到的当前词执行：

确定当前词在分词后的所述语料中的一个或多个上下文词以及负样例词；

将当前词的上下文词的词向量输入卷积神经网络的卷积层进行卷积计算；

将卷积计算结果输入所述卷积神经网络的池化层进行池化计算，得到第一向量；

将当前词的词向量输入所述卷积神经网络的全连接层进行计算，得到第二向量，以及将当前词的负样