[发明专利]用于测试的索引生成方法、装置、系统及可读存储介质有效
申请号: | 201710390849.8 | 申请日: | 2017-05-27 |
公开(公告)号: | CN107239399B | 公开(公告)日: | 2020-06-05 |
发明(设计)人: | 赵晶晶;李友科 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F11/36 | 分类号: | G06F11/36;G06F16/953 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 姜怡;阚梓瑄 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 测试 索引 生成 方法 装置 系统 可读 存储 介质 | ||
1.一种用于搜索引擎测试的索引生成方法,其特征在于,包括:
获取统一资源定位符列表;
根据所述统一资源定位符列表,获得数据的标识码列表;
根据所述数据的标识码列表,生成定制化索引;以及
将所述定制化索引发送至搜索引擎的测试设备,以根据所述定制化索引对所述搜索引擎进行测试;
其中,获取统一资源定位符列表包括:提取搜索频率最高的若干搜索词;及从所述若干搜索词中获取所述统一资源定位符列表;
或者,获取统一资源定位符列表包括:根据搜索引擎测试需求,获取所述统一资源定位符列表;
其中,所述数据包括商品数据,根据所述数据的标识码列表,生成定制化索引包括:获取所述数据的标识码列表中各商品数据的信息;根据所述各商品数据的信息中的分类,获取所述各商品数据的标签字段;及根据所述各商品数据的信息及标签字段,生成所述定制化索引。
2.根据权利要求1所述的方法,其特征在于,根据所述各商品数据的信息及标签字段,生成所述定制化索引包括:
根据所述数据的标识码列表中各商品数据的标识码,将所述数据的标识码列表中所有商品数据划分为多个哈希分片,每个哈希分片包含所述数据的标识码列表中部分商品数据的标识码;
将所述多个哈希分片分配到多个服务器中;
在所述多个服务器中,分别根据所分配的哈希分片中的商品数据的信息及标签字段,生成多个部分索引;以及
将所述多个部分索引中的商品数据进行排序,以生成所述定制化索引。
3.一种用于搜索引擎测试的索引生成装置,其特征在于,包括:
定位符列表获取模块,用于获取统一资源定位符列表;
标识码列表获取模块,用于根据所述统一资源定位符列表,获得数据的标识码列表;
定制化索引生成模块,用于根据所述数据的标识码列表,生成定制化索引;以及
定制化索引发送模块,用于将所述定制化索引发送至搜索引擎的测试设备,以根据所述定制化索引对所述搜索引擎进行测试;
其中,所述定位符列表获取模块包括:搜索词提取子模块和第一定位符获取子模块,所述搜索词提取子模块用于提取搜索频率最高的若干搜索词,所述第一定位符获取子模块用于从所述若干搜索词中获取所述统一资源定位符列表;
或者,所述定位符列表获取模块包括:第二定位符获取子模块,用于根据搜索引擎测试需求,获取所述统一资源定位符列表;
其中,所述数据包括商品数据,所述定制化索引生成模块包括:信息获取子模块、字段获取子模块及索引生成子模块,所述信息获取子模块用于获取所述数据的标识码列表中各商品数据的信息,所述字段获取子模块用于根据所述各商品数据的信息中的分类,获取所述各商品数据的标签字段,所述索引生成子模块用于根据所述各商品数据的信息及标签字段,生成所述定制化索引。
4.一种搜索引擎测试系统,其特征在于,包括:
大数据集服务器,用于根据如权利要求1-2任一项所述的方法生成定制化索引;以及
搜索引擎测试服务器,用于根据所述定制化索引对搜索引擎进行测试。
5.根据权利要求4所述的系统,其特征在于,所述大数据集服务器为Hadoop集群服务器。
6.一种计算机设备,包括:存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令,其特征在于,所述处理器执行所述可执行指令时实现如权利要求1-2任一项所述的方法。
7.一种计算机可读存储介质,其上存储有计算机可执行指令,其特征在于,所述可执行指令被处理器执行时实现如权利要求1-2任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710390849.8/1.html,转载请声明来源钻瓜专利网。