[发明专利]搜索引擎的评估方法、装置及计算机可读存储介质

说明书

技术领域

本发明涉及搜索引擎技术领域，尤其涉及一种搜索引擎的评估方法、装置及计算机可读存储介质。

背景技术

搜索引擎的搜索性能体现在搜索结果和用户查询的相关程度，从用户输入关键词搜索，到搜索到用户满意的搜索结果，其间的搜索过程越顺畅、越便捷，则说明相关程度越高。为了提高搜索结果和用户查询的相关程度匹配性，即提高搜索引擎的搜索性能，需要对搜索引擎进行评估，以根据评估结果对搜索引擎进行调整优化。

目前，市面上的搜索引擎评估多采用线下产品经理评判、专家打分、测试同事打分的方案，依据Cranfield评估框架进行搜索性能评估。Cranfield评估框架通过构造测试用查询词集合，对此集合中的查询词进行搜索，并通过人工标注的方式设定搜索结果的多个理想搜索结果，将此多个理想搜索结果的集合作为最优集合，根据实际搜索结果和最优集合的接近程度来评估搜索引擎的搜索性能。这种评估方法依赖于人工对最优集合的标注，存在最优集合小样本量、不准确性以及人工主观鉴定的干扰等问题，导致了搜索引擎搜索结果评估的不准确。

发明内容

本发明的主要目的在于提供一种搜索引擎的评估方法、装置及计算机可读存储介质，旨在解决现有技术最优集合的小样本量以及不准确性导致搜索引擎搜索结果评估不准确的问题。

为实现上述目的，本发明提供的一种搜索引擎的评估方法，所述搜索引擎的评估方法包括以下步骤：

统计用户搜索的历史记录，并根据所述历史记录确定多个搜索关键词；

根据所述多个搜索关键词，获取各个搜索关键词对应搜索结果的搜索结果点击率；

根据所述搜索结果点击率对所述各个搜索关键词对应搜索结果进行排序，获取各个搜索关键词对应搜索结果的名次数据和页面位置数据；

基于所述各个搜索关键词的搜索结果的名次数据和页面位置数据，按照预设规则确定搜索引擎的搜索系数，以基于所述搜索系数对搜索引擎进行评估。

可选地，所述基于所述各个搜索关键词的搜索结果的名次数据和页面位置数据，按照预设规则确定多个搜索关键词的搜索系数的步骤包括：

基于所述各个搜索关键词的搜索结果的名次数据，确定各个搜索关键词中前预设名数的目标搜索结果，并获取目标搜索结果对应的目标页面位置数据；

按照预设规则，基于目标搜索结果的目标名次数据和对应目标页面位置数据获取各个搜索关键词的目标搜索系数；

根据各个搜索关键词的目标搜索系数，确定搜索引擎的搜索系数。

可选地，所述按照预设规则，基于目标搜索结果的目标名次数据和对应目标页面位置数据获取各个搜索关键词的目标搜索系数的步骤包括：

根据搜索引擎页面排列顺序，获取各个搜索关键词在搜索引擎页面中的待评估搜索结果，并获取所述待评估搜索结果的页面位置数据；

将目标搜索结果的目标页面位置数据作为第一集合，待评估搜索结果的页面位置数据作为第二集合，并获取第一集合与第二集合相交的交集元素数量；

将交集元素数量与第一集合的元素数量的比值作为召回率，并将交集元素数量与第二集合的元素数量的比值作为准确率，其中所述召回率与准确率作为搜索关键词的目标搜索系数，以获取各个搜索关键词的目标搜索系数。

可选地，所述根据各个搜索关键词的目标搜索系数，确定搜索引擎的搜索系数的步骤包括：

根据各个搜索关键词的召回率以及搜索关键词的个数，确定搜索引擎的召回率平均值；

根据各个搜索关键词的准确率以及搜索关键词的个数，确定搜索引擎的准确率平均值，其中所述召回率平均值与准确率平均值作为搜索引擎的搜索系数。

可选地，所述按照预设规则，基于目标搜索结果的目标名次数据和对应目标页面位置数据获取各个搜索关键词的目标搜索系数的步骤包括：

对目标搜索结果的目标页面位置数据取倒，获取目标页面位置数据的倒数值，并将所述倒数值作为搜索关键词的目标搜索系数，以获取各个搜索关键词的目标搜索系数。

可选地，所述按照预设规则，基于目标搜索结果的目标名次数据和对应目标页面位置数据获取各个搜索关键词的目标搜索系数的步骤包括：

根据搜索引擎页面排列顺序，获取各个搜索关键词在搜索引擎页面中的待评估搜索结果，并获取所述待评估搜索结果的页面位置数据；

逐个获取待评估搜索结果的页面位置数据与目标搜索结果的目标页面位置数据的第一比值；