[发明专利]一种语义冗余的确定方法和装置、对应的搜索方法和装置

摘要

本发明提供了一种语义冗余的确定方法和装置、对应的搜索方法和装置，其中语义冗余的确定方法包括S1、确定词A及其搭配词B；S2、从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；S3、计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词。通过本发明能够有效地确定query中存在的语义冗余状况，为query的去冗余提供基础。利用去冗余后的query进行搜索，使得冗余的关键词不必参与匹配，提高了搜索结果的召回率，提高了搜索效果。

主权项

一种语义冗余的确定方法，其特征在于，该方法包括：S1、确定词A及其搭配词B；S2、从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；S3、计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词；所述统计词A和词B构成的搭配词对的上下文向量具体包括：确定所述语料中与所述搭配词对共现的状况满足预设第二模板的词，从确定出的词与所述搭配词对共现在预设窗口范围内时的语料中抽取所述搭配词对的上下文，并利用抽取的上下文与所述搭配词对的共现频率确定上下文的权值，得到所述搭配词对的上下文向量；其中，在所述第二模板中所述搭配词对为前缀或后缀；所述统计词A的上下文向量具体包括：从语料中抽取所述词A的上下文，并利用抽取的上下文与所述词A的共现频率确定上下文的权值，得到所述词A的上下文向量。