[发明专利]同义词的获取方法及装置

权利要求书

1.一种同义词的获取方法，其特征在于，所述方法包括：

获取文本集，对所述文本集进行分词生成第一词语集；

对所述第一词语集通过停词表识别，进行无效词过滤生成第二词语集；

对所述第二词语集中的任意两个词语进行编辑距离处理，生成第一同义词对集；

对所述第一词语集中的词语构建基于上下文语境的向量空间模型；

根据所述向量空间模型，获得所述第一同义词对集中的每对同义词的空间向量，计算所述第一同义词对集中的每对同义词的余弦相似度值，并根据所述余弦相似度值将所述每对同义词进行余弦阈值过滤策略的识别，生成第二同义词对集；

对所述第二同义词对集中的词语进行词性标注，通过词性过滤策略生成第三同义词对集；

将所述第三同义词对集中的词语通过一元模型处理后，生成第四同义词对集，以获取同义词。

2.根据权利要求1中的同义词的获取方法，其特征在于，所述对所述第二词语集中的任意两个词语进行编辑距离处理生成第一同义词对集具体包括：

判断所述任意两个词语的长度比例是否小于等于2且大于等于1/2，如果是则进行下一步，如果否则计算结束；

计算所述任意两个词语的编辑距离；

判断所述任意两个词语的编辑距离是否小于等于所述两个词语的长度中的最小长度的1/2，如果是则进行下一步，如果否则计算结束；

输出所有满足判断条件的两个词语为第一同义词对集。

3.根据权利要求2中的同义词的获取方法，其特征在于，所述计算所述两个词语的编辑距离具体包括：根据如下公式计算所述两个词语的编辑距离：

其中，

a、b是所述第二词语集中的任意两个词语，a＝a₁…a_i…a_n,b＝b₁…b_j…b_n,d_ij为a的第i个字符到b的第j个字符的编辑距离,m为a的长度，n为b的长度，a_i为a的第i个字符，b_j为b的第j个字符。

4.根据权利要求1中的同义词的获取方法，其特征在于，所述对所述第一词语集中的词语构建基于上下文语境的向量空间模型具体包括：根据如下公式为所述第一词语集中的词语构建向量空间模型：

其中，d_i为所述第一词语集中的任意词语，为d_i的空间向量，t为所述第一词语集中的词语总数，W_ti为第i个词语与第t个词语在上下文语境中的关系。

5.根据权利要求1中的同义词的获取方法，其特征在于，所述根据所述向量空间模型，获得所述第一同义词对集中的每对同义词的空间向量，计算所述第一同义词对集中的每对同义词的余弦相似度值具体包括：

根据所述向量空间模型，获得所述第一同义词对集中的任意一对同义词A与B的空间向量为

根据如下公式计算每对同义词的余弦相似度值：

其中，A与B是所述第一同义词对集中的任意一对同义词，与是A与B的空间向量，的取值范围为[-1,1]。

6.根据权利要求1中的同义词的获取方法，其特征在于，所述将所述第三同义词对集中的词语通过一元模型处理后，生成第四同义词对集具体包括：根据如下公式计算所述第三同义词对集中的词语的一元模型值，将所述第三同义词对集根据所述一元模型值通过概率阈值过滤生成所述第四同义词对集：

其中，W_i为所述第三同义词对集中的任意词语，P(W_i)为W_i的一元模型值，表示W_i在所述文本集中出现的概率，C(W_i)表示词语W_i在所述文本集中出现的次数，t表示所述文本集中所有词语出现的总次数，将P(W_i)小于概率阈值U的词语过滤,其中U是自定义的值。