[发明专利]电力大数据快速检索引擎

摘要

本发明公开了一种电力大数据快速检索引擎，其包括企业应用、二次开放接口、大数据检索引擎核心、操作系统和云服务器资源。通过电力大数据检索引擎，可根据应用的查询特点，将数据自动分区索引，充分发挥现代PC多核服务器、大内存的优势，创新的柔性多引擎机制，提供开放的二次开发接口。系统支持列存储，实现特定数据列的高效访问，提高特定数据列的分类统计和排序的速度。引擎中既有单节点的检索缓存，又有合并后的整体检索缓存，多层次多粒度的设计，大大提高了缓存的命中率，减轻高并发下的检索节点压力，从而大幅度提高系统在高并发情况下的数据检索能力。

主权项

一种电力大数据快速检索引擎，其特征在于：包括企业应用(1)，其包括面向电力企业业务应用，具体为企业搜索、数据挖掘引擎、垂直搜索、舆情管理和内容管理；二次开放接口(2)，用于企业应用(1)与大数据检索引擎核心(3)的连接，该二次开放接口(2)提供各种主流接口，具体包括HTTP接口、C接口、JAVA接口、.NET接口；所述大数据检索引擎核心(3)，其包括搜索节点(301)、Hadoop(302)和HDFS(303)，搜索节点(301)包括调度模块和数据字典，通过搜索引擎适配器，接入通用检索引擎、专业检索引擎、图像检索引擎，支持柔性多引擎技术，大数据管理系统使用多引擎机制，定义一个标准的引擎接口；对于不同的应用需求可以使用不同的引擎来对外提供服务，用户还可以构建自己的引擎来扩展系统的数据处理能力，支持异构数据，结构化，半结构化，非结构化数据的统一检索；大数据检索引擎核心(3)采用扁平化设计，弹性扩展，节点之间完全对等，都可以对外提供服务，整个系统没有单点故障，任何一个节点的故障都不影响系统对外提供服务；扁平化的架构使系统具有良好的扩展性，只需在线增加新的节点就可以提供系统的容量和对外服务能力；通过Hadoop(302)和HDFS(303)能够实现高效分区索引机制，可根据应用的查询特点，将数据自动分区索引，充分发挥现代PC多核服务器、大内存的优势，采用并行索引，多路合并的方式，变随机读写为顺序读写，实现高速的索引创建，适应海量数据的集中索引和快速索引的应用需求；以及操作系统(4)和云服务器资源(5)，两者是基于云服务的基础服务资源，提供操作系统、虚拟机、云计算和云存储，为电力大数据检索引擎提供部署环境。