[发明专利]一种搜索需求识别的方法和装置

说明书

【技术领域】

本发明涉及计算机技术领域，特别涉及一种搜索需求识别的方法和装置。

【背景技术】

随着互联网在全球范围内的迅速发展与成熟，网络上的信息资源不断丰富，信息数据量也在飞速膨胀，通过搜索引擎获取信息已经成为现代人获取信息的主要方式。为了向用户提供更加便捷、准确的查询服务是搜索引擎技术在当今和未来的发展方向。

在搜索引擎技术中，对用户的搜索需求进行识别是提高搜索准确性和有效性的重要一环，特别在结构化搜索中作用显著。现有的搜索需求识别方式通常采用将query与各需求类型的核心词向量分别计算相似度，根据相似度计算结果确定query的需求类型。例如将相似度排在前N个的需求类型识别为该query的需求类型，或者，根据相似度的值，确定该query在各需求类型的需求等级。但由于query本身较短，可用信息不多，如果仅仅依赖query直接计算query与需求类型的核心词向量之间的相似度，可能会导致语义相似度偏差较大，从而造成搜索需求识别的准确性。

【发明内容】

本发明提供了一种搜索需求识别的方法和装置，以便于提高搜索需求识别的准确性。

具体技术方案如下：

一种搜索需求识别的方法，该方法包括：

S1、获取待识别query；

S2、获取所述待识别query的搜索结果，确定搜索结果文本的各n元词组n-gram并基于各n-gram在搜索结果文本中的出现状况确定各n-gram的权重，得到所述待识别query的核心词向量；

S3、分别计算所述待识别query的核心词向量与预先确定的各需求类型的核心词向量之间的相似度，根据相似度的计算结果确定所述待识别query的需求类型。

根据本发明一优选实施例，步骤S2中获取所述待识别query的搜索结果为：获取所述待识别query的搜索结果中排在前N1个的搜索结果，所述N1为预设的正整数。

根据本发明一优选实施例，步骤S2中所述基于各n-gram在搜索结果文本中的出现状况确定各n-gram的权重具体包括：

根据n-gram在搜索结果文本中的词频TF以及对应n值为n-gram赋予权重；或者，

根据n-gram在搜索结果文本中出现的句子数、与待识别query共现的句子数、待识别query在搜索结果文本中出现的句子数以及n-gram的逆向文档频率IDF为n-gram赋予权重。

根据本发明一优选实施例，所述搜索结果文本包括：搜索结果的网页标题，或者搜索结果的网页中包含所述待识别query的句子。

根据本发明一优选实施例，确定需求类型的核心词向量包括：

S31、确定该需求类型的种子query集合；

S32、利用种子query集合中的各种子query进行搜索，从搜索结果文本中抽取核心词并基于核心词在搜索结果文本中的出现状况确定各核心词的权重，得到该需求类型的核心词向量。

根据本发明一优选实施例，需求类型的种子query集合的确定方式包括：

通过人工的方式配置；或者

采用人工的方式在搜索日志中标注；或者，

从该需求类型垂直搜索的搜索日志中获取搜索次数高于预设第一阈值的query构成该需求类型的种子query集合；或者，

从该需求类型的网页搜索的搜索日志中，获取对应于点击了该需求类型的网站或点击了包含该需求类型特征词的标题的query，并将获取的query中搜索次数高于预设第二阈值的query构成该需求类型的种子query集合。

根据本发明一优选实施例，所述步骤S32具体包括：

利用该需求类型的种子query集合中的各种子query进行搜索，确定搜索结果文本中的各n-gram并基于各n-gram在搜索结果文本中的出现状况确定各n-gram的权重，得到该需求类型的核心词向量；或者，

利用该需求类型的种子query集合中的各种子query进行搜索，对搜索结果文本进行分词处理和去除停用词后，统计去除停用词后所得到各词语的TF，确定TF高于预设词频阈值的词语并基于词频为各词语确定权重，得到该需求类型的核心词向量；或者，

利用该需求类型的种子query集合中的各种子query进行搜索，对搜索结果文本进行分词处理和去除停用词后，统计去除停用词后得到的各词语的TF和IDF，确定TF-IDF值高于预设TF-IDF阈值的词语并基于TF-IDF为确定的各词语确定权重，得到该需求类型的核心词向量；或者，