[发明专利]配用电数据检索方法和系统

说明书

本发明公开了一种配用电数据检索方法和系统，其中的方法包括：在分布式数据库或文件系统中划分多个数据存储节点，将配用电数据存储在与其对应的数据存储节点中；索引集群系统通过分布式索引建立模式建立并管理与数据存储节点以及配用电数据相对应的索引分片文件；查询集群系统通过分布式检索模式并基于索引分片文件对数据存储节点中存储的配用电数据进行检索并提供检索结果；本发明的配用电数据检索方法和系统，能够解决海量数据的索引问题，具有高吞吐量、高扩展性、高并发性、高容错性等特点，适合对超大数据集的并发访问，降低检索主节点的负载，并可以提高查询服务的可用性，增加服务的响应速度，改善用户的查询体验。

技术领域

本发明涉及信息检索和搜索技术领域，尤其涉及一种配用电数据检索方法和系统。

背景技术

随着智能配用电网建设的不断深入，采集终端数量的急剧增长，采集频度的大幅增强，面临着多源异构海量数据的有效集成、高效存储和高可扩展性的挑战。配用电业务逐步向智能化、精益化方向发展，需要进一步提升跨业务、跨平台的数据分析和处理能力，从而对数据存储和处理的高效性、价值挖掘的准确性和实时性以及人机交互和可视化效果提出了更高要求。配用电数据包括：结构化数据和非结构化数据。结构化数据是指同一类数据具有相同的存储格式和长度，可以划分出固定的基本组成要素，能以表格的形式表达的数据，如字符、数字等；非结构化数据是指没有明显结构，无法划分出固定的基本组成元素的数据，如声音、图形、图像、动画、视频、照片等。结构化数据通常描述空间数据的静态基本信息，而非结构化信息描述空间数据的时空信息，尽管这两种数据在数据结构上存在很大差异，但它们是从不同角度描述同一空间信息，在查询和调用时是一个整体。

索引文件指明逻辑记录和物理记录之间的一一对应关系，可以在查询等服务中使用的。随着数据量的不断增加，不但索引文件的大小已经快要超出单机服务器的现有空间，而且建立单一巨大的索引文件所耗费的时间以及在该索引文件上执行查询的时间也不断增加，因此，需要一种新的配用电数据检索方法。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种配用电数据检索方法和系统。

根据本发明的一个方面，提供一种配用电数据检索方法，包括：基于预设的配用电数据的存储架构在分布式数据库或文件系统中划分多个数据存储节点，将所述配用电数据存储在与其对应的数据存储节点中；其中，所述配用电数据包括：结构化配用电数据、非结构化配用数据；在所述分布式数据库或文件系统中建立索引集群系统，所述索引集群系统通过分布式索引建立模式建立并管理与所述数据存储节点以及所述配用电数据相对应的索引分片文件；在所述分布式数据库或文件系统中建立查询集群系统，所述查询集群系统通过分布式检索模式并基于所述索引分片文件对所述数据存储节点中存储的所述配用电数据进行检索并提供检索结果。

可选地，建立一个索引主节点和多个索引节点，对所述索引节点设置与其所对应的索引分片文件，其中，所述索引分片文件为存储配用电数据的数据表对应的索引分片文件；所述索引主节点接收对于所述配用电数据的索引任务，将所述索引任务通过消息机制发送给所述索引节点；所述索引节点基于所述索引任务对与其对应的索引分片文件进行处理；其中，所述索引任务包括：新建索引、更新索引、删除索引任务。