[发明专利]海量信息处理方法和系统

说明书

技术领域

本发明涉及计算机索引技术领域，特别地，涉及一种海量信息处理方法和系统。

背景技术

随着电子化进程的发展，各种票据和凭证将会逐步电子化，包括发票、签购单、收据、电影券、优惠券等等。这些信息有着显著特点——海量和非结构化。

现有的关系型数据库在处理海量数据时遇到困难。在面对数十亿条甚至数百亿条数据时，关系型数据库处理的性能已经大大降低。其次，现有关系型数据库在处理非结构化数据也面临性能的降低，并且也不太适合存储非结构化的数据。在面向海量非结构化的信息存储、查询和搜索时，现有的关系型数据库已无法满足需求。

发明内容

为解决上述问题，本发明的发明人提出通过分布式存储架构分布式文件系统和分布式数据库实现结构化、半结构化以及非结构化海量信息的存储，以及通过搜索引擎平台建立海量信息的索引，实现对海量信息的快速查询。该方案通过索引技术建立海量信息的索引信息，并且海量信息的处理通过并行处理的架构实施，可大大提高查询和搜索的性能。

根据本发明的一个方面，提供了一种海量信息处理方法，包括：将所述海量信息转发并存储在分布式文件系统和分布式数据库中；在搜索平台中建立所述海量信息的索引；接收用户的查询搜索请求；以及根据所述查询搜索请求，选择所述分布式数据库或所述搜索平台来进行处理。

在上述海量信息处理方法中，所述海量信息是结构化的海量信息、半结构化的海量信息或非结构化的海量信息。在这里，非结构化的海量信息可以是发票、签购单、收据、电影券、代金券以及优惠券中的一种或多种。

在上述海量信息处理方法中，根据所述查询搜索请求，选择所述分布式数据库或所述搜索平台来进行处理包括：确定所述查询搜索请求为单一字段查询，以及选择所述分布式数据库来通过分布式并行处理架构进行实时处理。

在上述海量信息处理方法中，根据所述查询搜索请求，选择所述分布式数据库或所述搜索平台来进行处理包括：确定所述查询搜索请求为多字段查询，以及选择所述搜索平台来通过分布式并行处理实现所述海量信息的索引。在一个优选的实施例中，根据所述查询搜索请求，选择所述分布式数据库或所述搜索平台来进行处理进一步可包括：利用所述海量信息的索引在所述分布式文件系统或所述分布式数据库中查询。

根据本发明的另一个方面，提供了一种海量信息处理系统，包括分布式文件系统和分布式数据库，搜索平台，以及搜索查询前置节点，其中，所述搜索查询前置节点配置成：接收待存储的海量信息；将所述海量信息转发并存储在分布式文件系统和分布式数据库中；接收用户的查询搜索请求；以及根据所述查询搜索请求，选择所述分布式数据库或所述搜索平台来进行处理，以便返回查询结果。

在上述海量信息处理系统中，所述海量信息是结构化的海量信息、半结构化的海量信息或非结构化的海量信息。在这里，非结构化的海量信息可以是发票、签购单、收据、电影券、代金券以及优惠券中的一种或多种。

在上述海量信息处理系统中，所述搜索查询前置节点进一步配置成：确定所述查询搜索请求为单一字段查询，以及选择所述分布式数据库来通过分布式并行处理架构进行实时处理。

在上述海量信息处理系统中，所述搜索查询前置节点进一步配置成：确定所述查询搜索请求为多字段查询，以及选择所述搜索平台来通过分布式并行处理实现所述海量信息的索引。优选地，所述搜索查询前置节点还配置成：利用所述海量信息的索引在所述分布式文件系统或所述分布式数据库中查询。

本文所述的海量信息处理方法和系统能够实现对海量非结构化数据电子票据和电子凭证的存储、实时查询和搜索，满足用户查询搜索海量信息的需求。

附图说明

在参照附图阅读了本发明的具体实施方式以后，本领域技术人员将会更清楚地了解本发明的各个方面。本领域技术人员应当理解的是：这些附图仅仅用于配合具体实施方式说明本发明的技术方案，而并非意在对本发明的保护范围构成限制。

图1是根据本发明的一个实施例、海量信息处理方法的示意图；

图2是根据本发明的一个实施例、海量信息处理系统的示意图；

图3示出根据本发明的一个实施例、面向海量的非结构化数据电子票据和电子凭证的存储以及实时查询搜索的方法。

具体实施方式