[发明专利]一种基于海量标准文献数据的排序优化算法技术实现方法有效
申请号: | 201711044274.0 | 申请日: | 2017-10-31 |
公开(公告)号: | CN110019993B | 公开(公告)日: | 2022-11-15 |
发明(设计)人: | 林雪;王文锋;孙良君;袁庆祝;陈斌;刘少华 | 申请(专利权)人: | 中博信息技术研究院有限公司 |
主分类号: | G06F16/903 | 分类号: | G06F16/903;G06F40/289 |
代理公司: | 常州佰业腾飞专利代理事务所(普通合伙) 32231 | 代理人: | 张文杰 |
地址: | 210000 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 海量 标准 文献 数据 排序 优化 算法 技术 实现 方法 | ||
1.一种基于海量标准文献数据的排序优化算法技术实现方法,其特征在于,包括如下步骤:
步骤1:安装和配置Solr搜索服务器,Solr搜索引擎底层是基于lucene的分词组件,构建SolrInputDocument对象,增加索引,按需添加相应的core数据表来分片存储数据,并为每个core配置uniqueKey;
步骤2:数据库服务器中的数据是动态增量的,所以需要定期刷新搜索服务器中用于存放搜索数据的core数据表,此外,针对全量数据对文档的进行基准boost打分,设置字段为BASE_ORDER;
步骤3:用户在客户端选择搜索方式与输入搜索关键字后,客户端将搜索方式与搜索关键字发送请求给服务器,服务器通过搜索解析器判断检索类型,以及根据HMM算法来切分搜索关键字;
所述搜索方式包括标准号搜索、题录搜索、全文搜索、题录与全文混合搜索;
所述切分搜索关键字包括如下步骤:
步骤31:判断搜索关键字是否包含恶意字符,如有,则通过正则表达式替换掉,再判断搜索方式;
步骤32:使用特殊搜索解析器判断是否为标准号特殊搜索,如果结果为true则执行步骤33,结果为false则执行步骤39;
步骤33:搜索关键字为标准号特殊搜索,先按空格和半角圆点符号切分搜索关键字,再根据字典表判定是否为标准代码开头,结果为true则执行步骤34,结果为false为执行步骤37;
步骤34:根据标准代码开头判断是否为国外标准,结果为false则执行步骤35,结果为true为执行步骤36;
步骤35:此搜索为国内标准特殊搜索,标准号切分后可分为标准代号、专业类号、顺序号、年代号4个部分,根据切分后的数组长度判断是何种类型的排列组合方式,分情况进行查询,得出结果集;
步骤36:此搜索为国外标准号搜索,国外标准的标准号组成方式比较复杂,不像国内标准一样可以拆分成标准代号、专业类号、顺序号、年代号4个部分,因此针对国外标准号查询直接与标准号字段进行匹配查询;
步骤37:此搜索为非标准代码开头的国内标准的标准号搜索,那么出现的会有专业类号、顺序号、年代号3个部分,和步骤35一致,根据切分后的数组长度判断是何种类型的排列组合方式,分情况进行查询;
步骤38:根据步骤31中所判断的4种搜索方式中,如果为标准号搜索,则直接根据基准boost打分字段BASE_ORDER的大小来排序;
如果为题录搜索,则最前端还需要加入一个层级,分别是标题精确、题录精确、标题模糊、题录模糊,再将这个层级和BASE_ORDER字段做算术加运算,再排序;
如果为全文搜索,最前端也需要加入一个层级,分别是全文精确、全文模糊,然后将这个层级和BASE_ORDER字段做算术加运算,再排序;
如果为题录与全文混合搜索,最前端还是需要加入一个层级,分别是标题精确、题录精确、全文精确、标题模糊、题录模糊、全文模糊,然后将这个层级和BASE_ORDER字段做算术加运算,再排序;
步骤39:此搜索普通搜索,主要是中文或汉语拼音的检索,在步骤1中添加的core中,有一个core的存储内容为关键词,每一个关键词既有中文字段,也有汉语拼音字段,当用户在客户端上即使输入的是汉语拼音,也会实时地进行提示对应的中文词语以供选择,再根据中文来查询;
步骤310:用户在客户端输入的中文词汇串searchString是连续的,即词与词之间没有空格间隔开的,则执行步骤311,如果词与词之间是有空格相间隔开的,则执行步骤312;
步骤311:根据lucene分词组件对步骤310中的searchString从左往右进行分词与去黑词,当然如果分词后分为多个词,则是按照“或”逻辑进行查询的;
步骤312:当词与词之间有两个或两个以上空格间隔开,以空格切割开的词,每个词分别执行上述步骤311,但是以空格间隔开的词是以“与”逻辑进行查询的;
步骤313:步骤311与步骤312均需要加一个层级,分别是标题精确、题录精确、全文精确、标题模糊、题录模糊、全文模糊,再将这个层级和BASE_ORDER字段做算术加运算,再排序;
步骤314:步骤38与步骤313的排序均要按照标准类型进行一个总的分类排序,即根据标准专业领域所要求的,依次显示国标、行标、地标、国外标准。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中博信息技术研究院有限公司,未经中博信息技术研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711044274.0/1.html,转载请声明来源钻瓜专利网。