[发明专利]一种词语的词向量的生成方法、装置及设备

权利要求书

1.一种词语的词向量的生成方法，包括：

对待处理语料进行分词获得所述待处理语料的分词；

确定所述分词中各词语的n元笔画和m元注音字符，其中，所述n元笔画表征其对应的词语的连续n个笔画，所述m元注音字符表征对应的词语的连续m个注音字符，n、m为正整数；

初始化所述分词中各个词语的词向量、所述各个词语对应的n元笔画的笔画向量以及所述各个词语对应的m元注音字符对应的注音字符向量；

根据所述分词中各个词语对应的词向量、笔画向量、注音字符向量，依次确定所述分词中各个词语与对应的上下文词语之间的综合相似度、以及所述分词中各个词语与负样例词语之间的综合相似度；其中，所述综合相似度基于词向量相似度、笔画向量相似度、注音向量相似度确定；所述负样例词语为从所述待处理语料中选择的负样本词语；

根据所述分词中各个词语与对应的上下文词语之间的综合相似度以及所述分词中各个词语与负样例词语之间的综合相似度，调整各个词语的对应的词向量、笔画向量、注音字符向量，获得所述分词中各个词语的目标词向量。

2.如权利要求1所述的方法，所述根据所述分词中各个词语对应的词向量、笔画向量、注音字符向量，依次确定各个词语与对应的上下文词语之间的综合相似度，包括：

对所述分词中各个词语进行遍历，依次将所述分词中各个词语中作为目标词语，并确定所述目标词语在所述分词中对应的上下文词语；其中，所述分词中各个词语之间的排序与所述待处理语料中各词语的排序一致；

根据各个所述目标词语对应的词向量、笔画向量、注音字符向量，以及各个目标词语对应的上下文词语对应的词向量，计算各个目标词语与对应的上下文词语之间的词向量相似度、笔画向量相似度、注音向量相似度；

根据所述词向量相似度、所述笔画向量相似度、所述注音向量相似度，确定各个目标词语与对应的上下文词语之间的综合相似度。

3.如权利要求2所述的方法，所述目标词语与对应的上下文词语之间的词向量相似度、笔画向量相似度、注音向量相似度的计算方法包括：

根据所述目标词语的词向量与对应的上下文词语的词向量之间的向量点积值，确定所述目标词语与对应的上下文词语之间的词向量相似度；

根据所述目标词语的各个笔画向量与对应的上下文词语的词向量之间向量点积值，确定所述目标词语与对应的上下文词语之间的笔画向量相似度；

根据所述目标词语的各个注音字符向量与对应的上下文词语的词向量之间向量点积值，确定所述目标词语与对应的上下文词语之间的注音向量相似度。

4.如权利要求2所述的方法，所述确定所述目标词语在所述分词中对应的上下文词语，包括：

在所述分词中，以所述目标词语为中心，向左和/或向右滑动指定数量个词语的距离，建立滑动窗口；

遍历所述滑动窗口中的词语，依次将所述滑动窗口中所述目标词语以外的词语确定为所述目标词语对应的上下文词语。

5.如权利要求2所述的方法，所述根据所述各个词语与对应的上下文词语之间的综合相似度以及所述分词中各个词语与负样例词语之间的综合相似度，调整各个词语的对应的词向量、笔画向量、注音字符向量，包括：

从所述分词中选取预设数量个词语，作为负样例词语；

确定所述目标词语与各个所述负样例词语之间的综合相似度；

根据指定的损失函数、所述目标词语与对应的上下文词语之间的综合相似度，以及所述目标词语与各个所述负样例词语之间的综合相似度，确定所述目标词语对应的损失表征值；

根据所述损失表征值，对所述上下文词的词向量、所述目标词语的词向量、所述目标词语对应的笔画向量、注音字符向量进行训练更新，直至满足训练条件，生成所述目标词语对应的目标词向量。