[发明专利]一种基于solr的信息检索的方法以及装置

说明书

本发明实施例公开了一种基于solr的信息检索的方法以及装置，接收信息检索的请求，并获取所述请求中的参数，解析并识别所述参数；启动分布式查询控制，并根据触发条件启动行打断控制或者查询超时控制；采用段文件逆向加载和倒排表逆向加载的方式加载数据，执行自定义标准评分，并响应所述请求。在本发明中重点在于规避过多的索引文件加载，应用空间局部性原理，保障有效利用系统资源，提升信息检索性能。

技术领域

本发明实施例涉及信息检索的技术领域，尤其涉及一种基于solr的信息检索的方法以及装置。

背景技术

随着大数据行业逐步应用到各行业，海量数据的查询遇到前所未有的挑战。在大数据领域，保障高并发、高性能、高存储等多因素要求的只有类似hbase等nosql数据库。但是，hbase数据库只能按照rowkey进行查询，在保障性能、并发、存储等因素的前提下，无法满足业务需求的多变性。Rowkey的设计和具体业务具有强依赖性。在二级索引的层次化设计中，存在一种以solr检索引擎作为查询入口，以hbase作为存储的架构设计模式。解决了hbase的rowkey约束性过强的问题。

在传统solr的使用方法中，采用相关度缺省排序，在使用相关度原理排序的前提下，必然要求solr搜索引擎加载所有索引文件并对打分。在海量数据模式下，造成索引文件读取频繁，系统内存过渡频繁回收，cpu利用率过高，系统负载长期处于警戒上线，致使整体查询性能、并发能力无法得到有效提升。尤其，在对solr数据横向分表的情况下，表的个数直接决定并发线程数。更有甚者，solr集群节点频繁掉点，造成系统功能无法正常使用。

从传统solr的使用过程中可以看出。过多的索引文件加载是导致性能、并发无法得到有效提升的根本原因。

发明内容

本发明实施例的目的在于提出一种基于solr的信息检索的方法以及装置，旨在提高信息检索效率的问题。

为达此目的，本发明实施例采用以下技术方案：

第一方面，一种基于solr的信息检索的方法，所述方法包括：

接收信息检索的请求，并获取所述请求中的参数，解析并识别所述参数；

启动分布式查询控制，并根据触发条件启动行打断控制或者查询超时控制；

采用段文件逆向加载和倒排表逆向加载的方式加载数据，执行自定义标准评分，并响应所述请求。

可选地，所述分布式查询控制，包括：

在索引写入中，采用哈希方式将数据均匀分配到表的各个分片上；

在时间维度上，每个分片的写入数据总量近似相等。

可选地，所述查询超时控制，包括：

若Solr缺省，则设定超时时间；

开启定时器，执行计时，执行查询；

判断执行时间；

若查询超时，则打断查询；

若查询未超时，则执行完整查询。

可选地，所述段文件逆向加载，包括：

采用横向分表进行数据横向的物理隔离，同时，按照数据写入数据、读取数据，采用加载最新表的数据并依据数据读取打断进行数据查询；

在solr的内部缺省处理控制逻辑中，采用从小到大的顺序进行段文件加载，并通过扩展solr缺省实现接口，完成从大到小的顺序加载段文件。

可选地，所述数据读取打断，包括：

定义收集器的命中条数，在循环收集文档的过程中，拦截判断是否已经满足定义的期望个数；