[发明专利]一种多义词词向量消歧方法

权利要求书

1.一种多义词词向量消歧方法：包括下述内容：

(1)文本语料获取以及预处理：采用搜狗新闻文本分类语料，然后进行分词、去停用词的预处理步骤；

(2)BTM主题模型建模，即用吉布斯采样的方法，对短文本中的分类语料进行主题标注，并得到每一个词语对应的主题以及主题-主题词矩阵A；

(3)词语对应主题的概率计算，对主题-主题词矩阵A进行转置，得到主题词-主题矩阵B，通过贝叶斯公式，得到词语对应主题的概率P(z|w)；

(4)向量模型计算词向量和主题向量，将主题标注作为向量模型的输入，分别对词语和主题进行向量训练，得到词向量簇W和主题向量簇Z，词向量w和主题向量z分别表示其中的一个向量；

(5)多义词词向量构造，将词向量w和主题向量z通过⊕进行连接，⊕表示将词向量w和主题向量z进行连接，w^z的长度为词向量w和主题向量z的长度值和；并依照词语对应主题的概率P(z|w)对连接过程中的主题向量进行加权处理,实现对相同词语在不同上下文中的不同意思的区分，得到正确的多义词词向量。

2.根据权利要求1所述一种多义词词向量消歧方法，其特征在于，文本语料获取以及预处理过程之中，通过文档大小的判别方法从复旦文本分类语料中，找到实验所需的短文本分类语料，并进行后续处理。

3.根据权利要求1所述一种多义词词向量消歧方法，其特征在于，在词语对应的主题概率计算，运用贝叶斯公式进行处理，得到词-主题概率P(z|w)；

P(w|z)表示主题-词概率，是通过BTM主题模型训练之后的得到的主题-词矩阵A的产物。

4.根据权利要求1所述一种多义词词向量消歧方法，其特征是在多义词词向量的构造过程之中，平均最大似然函数L的构造，

W_k表示当前词语，w_k+n表示当前词语的上下文，左右的词的距离为l，z_k表示当前词语的主题，N表示一段句子的总长度，k表示词语在句子中的位置。

5.根据权利要求1所述一种多义词词向量消歧方法，其特征是实验最后的评价参数使用准确率，召回率以及评价标准F1值；语料采用复旦大学文本分类语料，语料中一共有20个类别，假设ck表示第k个类别，

(1)准确率用P_i表示，计算公式如：

P_i表示类别i的准确率，n_ri表式当前样本类别为i，并且通过算法分类之后被正确分配到i类的文本梳理；n_pi表式测试集中所有被分配到类别i的文本数量。所有类别的整体准确率等于各个类别的准确率求平均值：

(2)召回率用R_i表示，计算公式：

R_i表示类别i的召回率，n_ri和准确率参数中的定义一样，n_qi表示测试集中类别i类中，真正应该包含的文本的数量；所有类别的整体召回率等于各个类别的召回率求平均值：

(3)评价标准F1值综合对准确率p_i和召回率两个衡量指标进行了考虑，是两个指标的加权调和平均：

F1_i表示类别i的召回率，P_i和R_i分别表示类别i的准确率和召回率；文本集中所有类别的评价标准F1值等于各个类别F1值的平均值：

。