[发明专利]一种语义冗余的确定方法和装置、对应的搜索方法和装置

权利要求书

1.一种语义冗余的确定方法，其特征在于，该方法包括：

S1、确定词A及其搭配词B；

S2、从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；

S3、计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词；

所述统计词A和词B构成的搭配词对的上下文向量具体包括：

确定所述语料中与所述搭配词对共现的状况满足预设第二模板的词，从确定出的词与所述搭配词对共现在预设窗口范围内时的语料中抽取所述搭配词对的上下文，并利用抽取的上下文与所述搭配词对的共现频率确定上下文的权值，得到所述搭配词对的上下文向量；其中，在所述第二模板中所述搭配词对为前缀或后缀；

所述统计词A的上下文向量具体包括：

从语料中抽取所述词A的上下文，并利用抽取的上下文与所述词A的共现频率确定上下文的权值，得到所述词A的上下文向量。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中确定词A具体为：

确定所述语料中出现频率大于预设第一频率阈值的名词作为所述词A。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1中确定词A的搭配词B具体为：

确定所述语料中与所述词A共现在预设窗口范围内的频率大于预设第二频率阈值，且与词A共现的状况满足预设第一模板的词，利用确定出的词选择词B。

4.根据权利要求3所述的方法，其特征在于，所述利用确定出的词选择词B包括：

将确定出的词作为词B；或者，

将确定出的词按照卡方值进行排序，选择排在前N个的词作为词B，N为预设的正整数；或者，

从确定出的词中选择卡方值大于预设卡方值阈值的词作为词B。

5.根据权利要求1所述的方法，其特征在于，在所述步骤S3中计算的相似度采用余弦相似度或信息半径相似度。

6.一种搜索方法，其特征在于，该搜索方法包括：

对用户输入的query进行分词处理；

利用分词处理后得到的各词两两构成的搭配词对查找语义冗余对数据库，如果匹配到语义冗余对，则利用匹配到的语义冗余对对所述query进行去冗余处理，并利用去冗余处理后的query进行搜索；

所述语义冗余对数据库中的各语义冗余对采用如权利要求1至5任一权项所述的方法确定。

7.根据权利要求6所述的搜索方法，其特征在于，所述利用分词处理后得到的各词两两构成的搭配词对查找语义冗余对数据库具体包括：

确定分词处理后得到的各词中，共现在预设窗口范围内且共现状况满足预设第一模板的两个词构成搭配词对，利用确定的搭配词对查找所述语义冗余对数据库。

8.一种语义冗余的确定装置，其特征在于，该装置包括：

搭配词对确定单元，用于确定词A及其搭配词B；

上下文向量确定单元，用于从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；

冗余对确定单元，用于计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词；

其中，所述上下文向量确定单元包括：

第一向量确定子单元，用于确定所述语料中与所述搭配词对共现的状况满足预设第二模板的词，从确定出的词与所述搭配词对共现在预设窗口范围内时的语料中抽取所述搭配词对的上下文，并利用抽取的上下文与所述搭配词对的共现频率确定上下文的权值，得到所述搭配词对的上下文向量；其中，在所述第二模板中所述搭配词对为前缀或后缀；

第二向量确定子单元，用于从语料中抽取所述词A的上下文，并利用抽取的上下文与所述词A的共现频率确定上下文的权值，得到所述词A的上下文向量。

9.根据权利要求8所述的装置，其特征在于，所述搭配词对确定单元包括：候选词确定子单元，用于确定所述语料中出现频率大于预设第一频率阈值的名词作为所述词A。