[发明专利]多节点数据检索方法、装置以及计算机存储介质

说明书

本发明涉及一种多节点数据检索方法、装置及存储介质。其中方法包括：对获取到的检索任务进行归一化处理后，通过预设调度缓存区对各个资源节点进行检索资源以及检索任务的调度，获取当前业务场景关联的资源节点相应的检索引擎，通过调整方案以及检索引擎，得到业务场景的检索结果，对检索结果进行去重以及排序处理，将经过去重及排序后的各个资源节点的检索结果进行融合，得到当前的业务场景的返回结果集。本发明满足了大数据业务分析需求，解决困扰已久的多节点海量数据检索的结果展示不准确、检索效率低下的问题，提高复杂业务场景下的多节点数据检索的效率和准确性。

技术领域

本发明涉及数据检索领域，尤其涉及多节点数据检索方法、装置以及计算机存储介质。

背景技术

随着现代社会信息技术的发展以及人类生活愈发的智能化，全球数据的体量也随之无限制地扩展和增加。而数据通常采用高可靠性的分布式存储，甚至于将同一类数据也将分别存储于多个节点之中，当大数据应用需要获取相关数据时，通常采用“异步检索不同存储节点，结果返回展示”的方法，去同时检索多个节点的海量数据。

而现有的大数据检索方法效率较低，其采用单一的规则去对所有节点的数据进行同步统一的检索，而没有结合各存储节点的特性对检索方案进行优化，这就往往会导致任一节点的效率对于整体的结果展示和业务开展影响较大，并且会额外增加检索资源开销。而在获取到检索结果后，将检索得到的结果进行展示时，由于不同存储节点返回结果的耗时、数量差别很大，通常只进行简单的结果返回展示，且在查看下一页结果时，经常会出现排序出错、数据重复出现等问题，这严重影响了用户的业务开展，制约大数据价值的利用。

发明内容

为解决上述现有技术对于多节点数据检索效率以及准确率低、结果展示混乱的问题，本发明提供一种多节点数据检索方法，包括以下步骤，S1,获取检索任务，对所述检索任务进行归一化处理，并根据归一化处理后的所述检索任务确定当前业务场景的场景特征及与所述当前业务场景关联的资源节点的节点特征，所述场景特征包括：场景名称、与当前场景对应的检索方案；所述节点特征包括资源节点I D、数据体量、检索引擎、场景检索效率范围；所述场景检索效率范围包括资源节点返回结果的平均时间；

S2，将预设调度缓存区中的第一内存空间按比例平均分配给各个与当前业务场景关联的资源节点，并根据所述关联的资源节点返回结果的平均时间将所述调度缓存区中的第二内存空间分配给各关联的资源节点，其中，给返回结果平均时间长的资源节点分配的内存空间占比大于返回结果平均时间短的资源节点，分配给资源节点的内存空间用于存储对应资源节点返回的结果；

S3，基于在所述调度缓存区中预先存储的业务场景特征库判断所述当前的业务场景是否为新业务场景；当所述当前的业务场景为新业务场景时，根据各个所述资源节点所分配得到的内存空间的大小以及各个所述资源节点的数据体量对所述资源节点的返回结果数量进行调整，增加数据体量大的资源节点返回结果数量，得到所述业务场景的调整方案，并在所述业务场景特征库中将所述调整方案保存为新建的当前业务场景的检索方案；其中，所述业务场景特征库基于历史的业务场景的场景特征预先建立，所述业务场景特征库包括：场景名称、与业务场景对应的检索方案及调整方案；

S4，根据所述调整方案以及所述资源节点I D从所述调度缓存区中预先存储的节点特征库中获取与所述当前业务场景关联的资源节点相应的检索引擎，将所述调整方案传入所述检索引擎，由所述检索引擎对所述各个资源节点进行检索，并得到所述业务场景的检索结果，其中，所述节点特征库基于历史的资源节点的节点特征建立，所述节点特征库包括：节点I D、对应的检索引擎、数据体量、场景检索效率范围；

S5，对所述检索结果进行去重以及排序处理，将经过去重及排序后的所述各个资源节点的检索结果进行融合，得到所述当前的业务场景的返回结果集。

在上述方案的基础上，本发明还可以做出以下改进。