[发明专利]一种基于Solr索引与Oracle存储的海量数据自动化存储方法

说明书

本发明公开了一种基于Solr索引与Oracle存储的海量数据自动化存储方法，包括：步骤1、自动创建存储单元，自动创建对应规则的N个存储单元；步骤2、自动分类存储海量数据，将海量数据按照不同条件和维度进行拆分、合并存储到对应的Solr中的Connection索引服务和Oracle数据库相应的业务表中；步骤3、回收利用存储单元，将数据存储不达标的存储单元，进行Solr层面和Oracle数据库层面的合并，并将其他剩余Connection和空闲Oracle业务数据表进行回收。本发明的一种基于Solr索引与Oracle存储的海量数据自动化存储方法，采用solr和Oracle结合技术，解决海量数据的查询、统计速率问题；采用优良的设计，解决项目扩展性和维护成本过高的问题，降低项目实现技术难度，增强系统扩展性和延伸性。

技术领域

本发明涉及数据存储技术，尤其涉及一种基于Solr索引与Oracle存储的海量数据自动化存储方法。

背景技术

随着信息化快速发展，信息系统资源种类和功能越来越完备，随之产生庞大的信息系统应用数据，这些应用数据越来越被重视，进行数据的深度挖掘和分析成为行业深耕业务功能、用户行为分析、热点应用等一大批基于海量数据分析的技术手段出现，提现了这些业务数据重要地位。

如何有效的保存这些珍贵的业务数据，就目前主流的技术手段和实现方法，主要分布在两个方向：基于大数据技术的存储路线以及基于传统数据库模式的存储。

大数据存储技术路线最典型的共有三种：

第一种是采用MPP架构的新型数据库集群，重点面向行业大数据，采用SharedNothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本PC Server，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。

这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析，目前最佳选择是MPP数据库。

第二种是基于Hadoop的技术扩展和封装，围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，例如针对非结构化数据的存储和计算等，充分利用Hadoop开源的优势，伴随相关技术的不断进步，其应用场景也将逐步扩大，目前最为典型的应用场景就是通过扩展和封装Hadoop来实现对互联网大数据存储、分析的支撑。Hadoop平台更擅长非结构半结构化数据处理、复杂的ETL流程、复杂的数据挖掘和计算模型。

第三种是大数据一体机，这是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成，高性能大数据一体机具有良好的稳定性和纵向扩展性。

而传统基于数据库的存储目前除了互联网企业外，数据处理领域还是以传统关系型数据库(RDBMS)为主。传统RDBMS的核心设计思想基本上是30年前形成的。过去30年脱颖而出的无疑是Oracle公司。全世界数据库市场基本上被Oracle，IBM/DB2，Microsoft/SQLServer垄断，目前有份量的独立数据库厂商现在就剩下Oracle和Teradata。开源数据库主要是MySQL，PostgreSQL，除了互联网领域外，其他行业用的很少。这些数据库当年主要是面向OLTP交易型需求设计、开发的，是用来开发人机会话应用为主的。这些传统数据库底层的物理存储格式都是行存储，比较适合数据频繁的增删改操作，但对于统计分析类的查询，行存储其实效率很低。

基于传统数据库存储的方式在以下几个不足：

1)传统数据库存储方式：在应对海量数据查询的时候，查询速度、统计速度缓慢，需要几分钟乃至十几分钟才能返回数据结果；