[发明专利]一种基于分布式结构的并行数据处理方法

说明书

技术领域

本发明面向地理信息系统、时空数据管理、位置相关服务、大规模传感器流数据管理等领域，针对云计算环境中超大规模海量数据的存储、检索与高效访问需求，提出了一种集键-值数据库（Key-Value Store）和关系数据库双方优势的RDB-KV并行云数据库存储与检索方法，实现兼备键值存储高效访问特性与数据库完整特性的海量数据存储技术。 

背景技术

云计算是当前信息技术发展的重要方向。基于云平台的计算与存储服务因底层架构基础设施的变化，在应用模式、应用范围以及技术需求上发生了重大变革。云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。 

分布、并行是云存储的基本特点。在云存储的环境中，存储节点之间构成复杂的互相依赖关系。为了有效利用资源、提高存储服务的性能，数据通常根据一定原则分布在特定集群节点范围内容。这些集群节点通过“数据池”等方式将片段数据存储在本地环境中。为了保障数据的安全，集群节点内部又将这一特定片段数据进行多副本复制与分发。集群内部的储存设备之间构成多个副本。这样从整体上，保证数据的有效分散与安全。 

云存储的推广带动了存储技术的发展。云存储的高弹性、并行性等特点可以很好的满足日益膨胀的企业应用发展。企业业务在向云环境的迁移过程中，需要将相关数据植入云存储的分布式并行存储环境中。在传统的企业应用中，数据支撑环境通常构建在关系数据库中。在关系数据模型的基础上，依据业务逻辑设计基本库表结构。在设计阶段，以独立事物对象或业务单步活动为数据粒度划分的原则。将一组属性构成基本粒度数据的表征全集，以此构成一个独立二维表的基本结构。为满足复杂逻辑中数据一致性与完全性，在库表设计的过程中，不同表项之间通常存在复杂的约束与依赖关系；在数据更新的过程中，利用这些表项之间的约束关系，实现全局范围内数据一致性的校核。另一方面，在业务数据查询的过程中，通常一个查询任务涉及多个基本粒度数据模型的交叉、组合。这些任务以关系代数为基础构造查，利用jion等复杂操作满足查询任务的基本要求。在传统的存储环境中，成熟的关系数 据库管理系统依托关系数据库模型，借助于集合代数等概念和方法来处理数据库中的数据。此类关系数据库建立在严格的数学概念的基础上的。关系模型的概念单一，无论实体还是实体之间的联系都用关系表示，操作的对象和操作的结果都是关系，所以其数据结构简单、清晰，用户易懂易用。关系模型的存取路径对用户透明，从而具有更高的数据独立性、更好的安全保密性，也简化了程序员的工作和数据库开发建立的工作。 

随着企业应用规模的不断膨胀，关系数据库的在性能方便的瓶颈问题日益凸显，因数据海量性、异构性、高并发性等特点导致的数据集成环境性能低下的问题成为影响企业发展以及信息技术推广的一个核心问题。 

另一方面，云存储的兴起为海量高并发数据的应用与管理提供了物质支持。云存储因其自身高弹性，高伸缩性、高并发性等特点可以很好的为企业应用的迅速扩展提供服务。然而，传统的云存储在技术层面以none-sql等模式为基础。在应对以关系代数为基础的传统数据库迁移的过程中，存在以下基本问题： 

1）海量数据对传统存储架构的挑战：传统的数据管理系统以关系代数与关系数据为存储架构的设计依据。在传统的应用中，由于关系数据之间存在复杂的依赖与约束关系；这些数据管理系统多以集中式的架构实现存储管理。随着数据规模的膨胀，部分成熟数据管理系统利用分布式结构、以多副本平行复制、CDN等方式在多节点之间实现数据的统一组织与管理。以oracle rac等为代表，在数据查询等活动中，在本质上，节点局部内仍以数据全集为基本范围执行查询任务。这就导致系统查询性能存在瓶颈制约。同时，系统中数据吞吐量严重影响了整体稳定性与可靠性。这一不足之处严重影响了服务计算规模与处理质量的提升；