[发明专利]一种海量多元数据智能归集系统及归集方法

说明书

本发明涉及一种海量多元数据智能归集系统及归集方法，其中，海量多元数据智能归集系统包括归集提取模块、归集存储模块、归集选择模块和归集查询模块。针对大规模用户环境下多元数据查询请求要素多样、查询请求并发性高、用户多元数据存储数据量大等特点，需要满足大规模用户在线并发请求的快速响应及海量多元数据多要素快速检索查询等关键问题。本发明的海量多元数据智能归集系统，在存储阶段根据发票的不同要素特点进行提取，归集分类后存储入归集信息表中，在查询阶段将原本需要进行地多要素联合查询简化为一次要素标识值计算和两次单要素查询，可以快速获得所有符合查询条件的电子发票信息，极大地优化查询时间。

技术领域

本发明属于数据处理技术领域，具体涉及一种海量多元数据智能归集系统及归集方法。

背景技术

随着信息时代的发展，海量多元数据使用规模也越来越大。如用户在注册新系统后，买家在订单下单后，商家在开具电子发票后，会将生成的数据将存入数据库中进行存储与等待后续的查询。

目前，业界通常使用关系型数据库对多元数据信息进行存储。关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。

在关系型数据库中，虽然可以满足一般的存储、查询发票的需求，但是随着业务量的增加，在大规模用户下海量多源异构数据的存储与查询时，传统关系型数据库查询响应速度慢、高并发条件下易造成服务宕机等问题便日益严重。

以电子发票信息为例，目前大规模用户环境下数据服务平台查询存在以下问题：由于要为多字段建立索引，现有方法对海量多元数据进行联合查询时资源消耗极大，时间开销大，查询效率低。现有的提高多元数据查询效率的方法依赖于特定的字段及数据类型，虽然可以提升特定场景下的多元数据查询效率，但是在查询要素多样的场景下，无法提升任意组合的按要素查询速率。现有的提高多元数据查询效率的方法依赖于特定的设计结构或框架，可移植性差，使用门槛较高。在已有系统中引入现有的优化技术时，即使已有系统结构与引入的优化技术兼容，也有可能要对已有数据进行大量修改，在旧系统中引入新方法的配置较为繁琐。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种海量多元数据智能归集系统及归集方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种海量多元数据智能归集系统，包括：

归集提取模块，用于根据接收的发票归集请求，提取得到对应发票的关键要素，根据所述关键要素得到多个归集类型，获取每个归集类型对应的标识信息，根据所述多个标识信息生成对应发票的归集信息；

归集存储模块，用于将所述归集信息存储在归集信息表中，并将所述归集信息表中的标识信息设置为索引项；

归集选择模块，用于根据接收的发票查询请求，确定所述发票查询请求对应的归集类型，并计算得到该发票查询请求对应的要素标识值；

归集查询模块，用于根据所述发票查询请求对应的归集类型和要素标识值，对所述归集信息表进行查询，得到符合条件的发票ID。

在本发明的一个实施例中，所述发票归集请求包括发票信息，所述发票信息包括发票的关键要素。

在本发明的一个实施例中，所述发票的关键要素，包括：发票ID、购买方姓名、购买方纳税人识别号、购买方地址，购买方电话，购买方开户银行，购买方开户账号、商品名称、商品单价、商品数量、商品总金额、商品税率、商品税额、销售方名称、销售方纳税人识别号、销售方地址、销售方电话、销售方开户银行、销售方开户账号、收款人姓名、开票人姓名、发票代码、开票日期、校验码和机器编码。

在本发明的一个实施例中，所述归集提取模块包括：

关键要素提取单元，用于根据所述发票信息，提取得到对应发票的关键要素；