[发明专利]一种数据存储和查询方法、装置、设备及计算机存储介质

说明书

本发明公开了一种数据存储和查询方法、装置、设备及计算机存储介质。其中，数据存储方法包括：根据待存储的数据表生成行式数据块；在内存中设置第一缓存区域，并在第一缓存区域中建立列式数据结构；获取行式数据块，根据列式数据结构将行式数据块转化为对应的列式数据块并存储至第一缓存区域。数据查询方法用于对采用本发明实施例的方法存储的数据进行查询，包括：根据查询语句和存储于第一缓存区域内的列式数据块，确定查询语句是否满足第二条件；基于确定结果，确定是否在内存中执行查询语句。根据本发明实施例，能够在内存中增加用于分析型查询的列式数据块，以提高分析型查询的效率。

技术领域

本发明属于计算机技术领域，尤其涉及一种数据存储和查询方法、装置、设备及计算机存储介质。

背景技术

随着大数据时代的到来，用于支持互联网技术的软件及硬件的不断更新，各类软件积累的数据越来越多，导致不断积累的海量数据对数据库系统的事务型操作需求也越来越多，例如，需要对海量数据进行大量读操作的分析型查询。

在传统的关键型数据中，为了支持大量的事务型操作，通常采用的是行式存储模式。对采用行式存储模式存储的数据进行分析型查询时，需要读取所有的列中的数据，导致数据读取、查询的运行时间较长，数据分析的效率较低。

为了解决上述的问题，现有如下的解决方案：

1、根据需要新建用于分析型查询的索引，从而提高该类查询检索的速度。但是，新增索引会增加存储空间，从而使数据插入更新时效率降低。另外，还可能存在多种具有不同的筛选条件的分析型查询，这样，就要针对这些不同的分析型查询建多个索引，而引起其他操作的执行计划的变更。

2、为数据库系统配备高端存储或闪存卡，以提高设备的输入/输入(Input/Output，I/O)性能。但是，这样会增加采购设备的成本，且设备的到货周期一般较长，不能迅速满足分析型查询应用的新增的存储及查询需求，并且，即使是高端存储或闪存卡也存在着性能上限，可能无法满足迅速增长的存储及查询需求。

3、使用备库或其他与源库同步的容灾端进行分析型查询操作。但是，这种方法需要对分析型查询应用进行改造，严格将其中的只读业务拆分出来，并将其连接到备库或者容灾端，对分析型查询应用有较大的局限。

4、将数据库系统的存储模式更改为列式存储模式或无关系型(NoSQL)模式。但是，这种方法将对数据库系统和分析型查询应用进行较大改造，且在对大量数据进行插入修改操作时，性能较差。

发明内容

本发明实施例提供一种数据存储和查询方法、装置、设备及计算机存储介质，能够在内存中增加用于分析型查询的列式数据块，以提高分析型查询的效率。

一方面，本发明实施例提供一种数据存储方法，包括：

根据待存储的数据表生成行式数据块；

在内存中设置第一缓存区域，并在所述第一缓存区域中建立列式数据结构；

获取所述行式数据块，根据所述列式数据结构将所述行式数据块转化为对应的列式数据块并存储至所述第一缓存区域。

另一方面，本发明实施例提供了一种数据查询方法，用于对采用上述的方法存储的数据进行查询，包括：

根据查询语句和存储于第一缓存区域内的列式数据块，确定所述查询语句是否满足第二条件；

基于确定结果，确定是否在所述内存中执行所述查询语句。

又一方面，本发明实施例提供了一种数据存储装置，所述装置包括：

第一存储模块，其配置为根据待存储的数据表生成行式数据块；

第一设置模块，其配置为在内存中设置第一缓存区域，并在所述第一缓存区域中建立列式数据结构；