[发明专利]同义词的获取方法及装置

说明书

本发明涉及一种同义词的获取方法及装置，该方法包括：获取文本集，对文本集进行分词生成第一词语集；对第一词语集通过停词表进行无效词过滤生成第二词语集；对第二词语集中的任意两个词语进行编辑距离处理生成第一同义词对集；对第一词语集中的词语构建向量空间模型；根据该模型获得每对同义词的空间向量，计算每对同义词的余弦相似度值，将每对同义词进行余弦阈值过滤策略的识别，生成第二同义词对集；对第二同义词对集中的词语进行词性标注生成第三同义词对集；将第三同义词对集中的词语通过一元模型处理后获取同义词。因此，本申请实现了检索出的同义词更为准确，并且没有歧义词语和无效词语出现，从而智能的检索出同义词的相关网页。

技术领域

本发明涉及计算机技术领域，尤其涉及一种同义词的获取方法及装置。

背景技术

随着互联网的高速发展，电子商务也逐步发展起来。对于电子商务网站的站内搜索引擎而言，应该尽可能准确的将与用户所输入的搜索请求的同义词相匹配的网页检索出来。在检索中同义词是语言中广泛存在的现象，这是由客观概念与具体词语间的复杂关系造成的。

对于业务同义词词表的构建，假如通过人工逐一标记，耗时长，同时不能保证数据能够被完全覆盖，而且人工带有个人感情色彩以及经验主义，所以人工生成的业务同义词词表正确性存在一定的主观元素。

现有的同义词林标记，由于同义词林庞大，内容广泛，很多同义词不属于业务词类，没必要进行标记但需要进行额外的过滤，同时，同义词林没有针对性，对于某些业务同义词没有特殊标记，所以用同义词林标注的业务同义词词表，会存在过多不相关的同义词对，以及会对某些业务同义词对有所疏漏。所以，针对业务数据特点，有必要通过数据获取的方式，智能快捷的标注出该业务场景下的同义词词表。

现有的同义词获取的方法侧重于基于词汇字面相似度算法以及基于《同义词词林》、《知网》等语义词典的语义相似度算法。基于词汇相似度算法的方法，主要是基于词汇字形相似度算法，有时会引入权重计算来提高字面相似度的识别效果，或是引入词性特点对同义词识别进行归类计算。但是现有技术中基于词汇字面相似度算法的同义词获取方法，只是通过编辑距离处理生成同义词集，识别效率还不够高，在识别出来的同义词词表中还需要进行大量的人工筛选操作才能获得最终的同义词词表。

在语义相似度算法上，主要是根据《同义词词林》的编码规范，将词汇相似度比较转换成词汇在词林中的编码相似度的比较。现有的基于语义相似度算法的同义词获取方法，在业务应用上很多时候显得不太实用，一来词林庞大，一般具有通用性，所以涵盖了大量不必要的同义词信息，而且词林不具有针对性，对于一些业务词汇没有进行词性标注，有时候还需要将一些词林词汇进行合成才能获得业务词汇，这个合成过程就会容易造成歧义词汇的出现。

发明内容

本发明的目的是提供了一种同义词的获取方法及装置，以解决现有技术中检索同义词时，歧义同义词和不精确的同义词的出现。

为实现上述目的，本发明一方面提供了一种同义词的获取方法，该方法包括：获取文本集，对文本集进行分词生成第一词语集；对第一词语集通过停词表识别，进行无效词过滤生成第二词语集；对第二词语集中的任意两个词语进行编辑距离处理生成第一同义词对集；对第一词语集中的词语构建向量空间模型；根据向量空间模型，获得第一同义词对集中的每对同义词的空间向量，计算第一同义词对集中的每对同义词的余弦相似度值，并根据余弦相似度值将每对同义词进行余弦阈值过滤策略的识别，生成第二同义词对集；对第二同义词对集中的词语进行词性标注，通过词性过滤策略生成第三同义词对集；将第三同义词对集中的词语通过一元模型处理后，生成第四同义词对集，以获取同义词。