[发明专利]一种语义冗余的确定方法和装置、对应的搜索方法和装置

说明书

【技术领域】

本发明涉及自然语言处理技术，特别涉及一种语义冗余的确定方法和装置、对应的搜索方法和装置。

【背景技术】

随着搜索引擎技术的不断发展，传统基于关键词匹配的策略在现代搜索引擎中对于语义匹配方面越来越力不从心。其中用户在进行搜索的过程中，有很大比例的语义冗余表达，例如：“北京中关村在哪里”实际上与“中关村在哪里”表达的含义相同，“苹果iphone4s”与“iphone4s”表达的含义相同，“张艺谋导演的新片”与“张艺谋的新片”表达的含义相同，“离婚后对前夫仇恨怎么办”与“前夫仇恨怎么办”表达的含义相同，等等，由于基于关键词匹配的方式需要每个关键词都能够匹配才能够取得靠前的排名，因此对于实际上在语义上匹配的网页但由于并没有对query中语义冗余的关键词匹配，则可能无法取得靠前的排名，甚至无法召回。

【发明内容】

本发明提供了一种语义冗余的确定方法和装置、对应的搜索方法和装置，以便于有效地确定query中存在的语义冗余状况，从而提高搜索效果。

具体技术方案如下：

一种语义冗余的确定方法，该方法包括：

S1、确定词A及其搭配词B；

S2、从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；

S3、计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词。

根据本发明一优选实施例，所述步骤S1中确定词A具体为：

确定所述语料中出现频率大于预设第一频率阈值的名词作为所述词A。

根据本发明一优选实施例，所述步骤S1中确定词A的搭配词B具体为：

确定所述语料中与所述词A共现在预设窗口范围内的频率大于预设第二频率阈值，且与词A共现的状况满足预设第一模板的词，利用确定出的词选择词B。

根据本发明一优选实施例，所述利用确定出的词选择词B包括：

将确定出的词作为词B；或者，

将确定出的词按照卡方值进行排序，选择排在前N个的词作为词B，N为预设的正整数；或者，

从确定出的词中选择卡方值大于预设卡方值阈值的词作为词B。

根据本发明一优选实施例，在所述步骤S2中统计词A和词B构成的搭配词对的上下文向量具体包括：

确定所述语料中与所述搭配词对共现的状况满足预设第二模板的词，从确定出的词与所述搭配词对共现在预设窗口范围内时的语料中抽取所述搭配词对的上下文，并利用抽取的上下文与所述搭配词对的共现频率确定上下文的权值，得到所述搭配词对的上下文向量；

其中，在所述第二模板中所述搭配词对为前缀或后缀。

根据本发明一优选实施例，在所述步骤S2中统计词A的上下文向量具体包括：

从语料中抽取所述词A的上下文，并利用抽取的上下文与所述词A的共现频率确定上下文的权值，得到所述词A的上下文向量。

根据本发明一优选实施例，在所述步骤S3中计算的相似度采用余弦相似度或信息半径相似度。

一种搜索方法，该搜索方法包括：

对用户输入的query进行分词处理；

利用分词处理后得到的各词两两构成的搭配词对查找语义冗余对数据库，如果匹配到语义冗余对，则利用匹配到的语义冗余对对所述query进行去冗余处理，并利用去冗余处理后的query进行搜索；

所述语义冗余对数据库中的各语义冗余对采用如权利要求1至7任一权项所述的方法确定。

根据本发明一优选实施例，所述利用分词处理后得到的各词两两构成的搭配词对查找语义冗余对数据库具体包括：

确定分词处理后得到的各词中，共现在预设窗口范围内且共现状况满足预设第一模板的两个词构成搭配词对，利用确定的搭配词对查找所述语义冗余对数据库。

一种语义冗余的确定装置，该装置包括：

搭配词对确定单元，用于确定词A及其搭配词B；

上下文向量确定单元，用于从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；

冗余对确定单元，用于计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词。