[发明专利]一种金融数据列式存储方法、系统、设备及存储介质

说明书

本申请涉及数据存储的技术领域，公开了一种金融数据列式存储方法、系统、设备及存储介质，包括：将待存储的金融数据输入至列式存储引擎中，使金融数据形成若干列结构，所述列结构包括由金融数据分解而成的源数据以及用于标识源数据存放位置和类型的元数据；从若干所述列结构中复制元数据并存放在内存中，以形成元数据副本；将若干所述列结构列式存储于硬盘中，同一种源数据类型的列结构相邻存放；为数据库中的若干所述列结构设置索引列，并将所述索引列作为对齐列；本申请具有提高金融数据的访存效率的效果。

技术领域

本申请涉及数据存储的技术领域，尤其是涉及一种金融数据列式存储方法、系统、计算机设备及存储介质。

背景技术

数据引擎是一项非常重要的基建，在日常业务中，数以TB计算的数据已经无法存储在内存中，因此一个符合自身业务的数据引擎决定了项目的成败。目前业内比较出名的数据引擎有mysql，tidb，postgresql，oracle，kdb，clickhouse等，由于开源的数据引擎追求更广泛的通用性，因此在金融数据的存储上，并没有达到预期的性能目标。行式数据库由于内部数据的存储特征，在大规模的数据处理；中统计缓慢以列式引擎为主的clickhouse部署方案采用的是单独进程部署，由于其部署方式决定了交互需经过网络传输，不适用于高频请求场景。

而金融领域的数据，特别是股票类数据的存储中，每一支股票通常都包括收盘价、开盘价和总股本等数据，数据类型的一致性高，且其中需要经常更新和读取的数据类型少，但需要存放的股票数量确十分庞大。

因此，针对上述相关技术，发明人认为采用现有开源的数据存储引擎难以满足金融数据存储和读取的需求的问题。

发明内容

为了提高金融数据的访存效率，本申请提供一种金融数据列式存储方法、系统、计算机设备及存储介质。

本申请的发明目的一采用如下技术方案实现：

一种金融数据列式存储方法，包括：

将待存储的金融数据输入至列式存储引擎中，使金融数据形成若干列结构，所述列结构包括由金融数据分解而成的源数据以及用于标识源数据存放位置和类型的元数据；

从若干所述列结构中复制元数据并存放在内存中，以形成元数据副本；

将若干所述列结构列式存储于硬盘中，同一种源数据类型的列结构相邻存放；

为数据库中的若干所述列结构设置索引列，并将所述索引列作为对齐列。

通过采用上述技术方案，将待存储的金融数据输入至列式存储引擎中，使金融数据分解后形成若干源数据，其中每一份源数据对应一支股票中一个类型的数据，为每一份源数据生成用于标识所述源数据存放位置和类型的元数据，并基于若干源数据和对应的元数据形成若干列结构；从若干列结构中复制一份元数据并存放在内存中，形成元数据副本，便于提高后续进行数据检索的效率，将若干列结构列式存储于硬盘中，且同一种源数据类型的列结构相邻存放，便于后续数据读取时增加数据读取效率，减少数据库的读写次数；为数据库中的若干列结构设置索引列，并将索引列作为对齐列，以便在进行区间查找的时候，能够更快的进行寻道获取到本次所需数据的索引列，加快数据的查找效率。

本申请在一较佳示例中：将若干所述列结构的元数据复制并存放在内存中的步骤之后，还包括：

基于所述元数据副本建立一个基于B+树的数据结构。

通过采用上述技术方案，元数据副本加载完毕后，基于元数据副本建立一个基于B+树的数据结构，具有存储深度小，查找效率高的特点，同时能够减少查询时硬盘或内存的I/O次数，以实现利用元数据高效查找源数据的。

本申请在一较佳示例中：为数据库中的若干所述列结构设置索引列，并将所述索引列作为对齐列的步骤之后，还包括：