[发明专利]大规模并行处理行列混合数据存储装置及存储、查询方法

说明书

本发明公开了一种大规模并行处理行列混合数据存储装置及存储、查询方法，属于数据库技术领域。本发明装置包含联机事务处理模块、联机分析处理模块、存储模块、跨层查询模块以及跨层交互模块。本发明在一个数据库中同时实现了OLTP和OLAP两种功能，可以根据数据的访问频率将数据以适当的形式存储，既能为用户提供方便的查询服务，又可以为用户提供高效地数据分析服务，相对于现有技术中OLTP和OLAP分别部署的方式来说是一种重要的技术进步。

技术领域

本发明涉及数据库技术领域，特别是指一种大规模并行处理行列混合数据存储装置及存储、查询方法。

背景技术

大规模并行处理(Massive Parallel Processing，MPP)通过对多个处理器的协调调用，可以使同一命令在多个处理器上同时进行处理，从而极大地提升运算能力。MPP的主要特征是多台处理器同时并行开展计算，且处理器之间能够进行实时通信。由于MPP优良的可扩展性和强大地计算处理能力，MPP已经被用于大计算量的数学建模、数据库处理等领域，尤其是使用MPP技术的数据库管理系统(DataBase Management System，DBMS)已经在现有技术中得到了广泛应用。

通常，数据库的存储模式主要分为行存储和列存储两种。行存储模式下的数据按元组存储，每个元组的所有属性都存储在一起，如果要查询一个元组的某个属性值，需要先读取整个元组的数据，这种模式以元组为单位，适合对数据的频繁读写，因而被广泛应用于联机事务处理(On-Line Transactional Processing，OLTP)；列存储则将数据表的每一列组织在一起进行存储，不同的列独立存储，这种模式可以对大量的稀疏数据进行高效压缩，从而节省空间，并且由于每列数据类型相同，因而便于对数据进行复杂分析，联机分析处理(On-Line Analytical Processing，OLAP)通常采用这种存储模式。

目前，OLTP和OLAP数据库都有成熟的产品，但是面向OLAP和面向OLTP的产品彼此独立。现实中，经常有客户既需要进行频繁的OLTP，又需要进行频繁的OLAP，为此，他们不得不部署两套或更多套产品才能满足业务需要，这样不仅带来更高的投资成本，而且实际应用中需要在不同产品之间做数据迁移，带来额外的管理和维护成本。

发明内容

有鉴于此，本发明的目的在于提出一种大规模并行处理行列混合数据存储装置及存储、查询方法，本发明可以在单一数据库中同时实现OLTP和OLAP的功能，提高数据的存取效率。

基于上述目的，本发明提供的技术方案是：

一种大规模并行处理行列混合数据存储装置，其包括：

联机事务处理模块，用于进行事务处理；

联机分析处理模块，用于进行数据分析；

存储模块，用于根据数据的访问频率将数据存入联机事务处理模块或联机分析处理模块；

跨层查询模块，用于根据查询语句对联机事务处理模块或联机分析处理模块中的数据进行查询；

跨层交互模块，用于在联机事务处理模块和联机分析处理模块之间进行相互查询和存储。

可选地，联机事务处理模块中包含：

行存储模块，用于以行形式存储存入联机事务处理模块的数据；

行存储引擎，用于为行存储模块中的数据提供查询索引。

可选地，联机分析处理模块中包含：

列存储模块，用于以列形式存储存入联机分析处理模块的数据；

列存储引擎，用于为列存储模块中的数据提供查询索引。

可选地，跨层查询模块包含：