[发明专利]一种数据语义分离存储方法及系统

说明书

本发明提供了一种数据语义分离存储方法及系统，包括：获取以太坊数据；根据以太坊数据的类型，将以太坊数据插入内存组件中的相应类型的跳表结构中；其中，跳表结构内存储的以太坊数据达到容量上限时，跳表结构会被冻结，被冻结的跳表结构根据存储的以太坊数据的类型，转换为文件后写入到磁盘组件中相应类型的文件区。将以太坊数据分为弱相关的两类数据，实现了不同类型数据的独立管理和存储，节省了一部分读写放大开销，可以加速数据的入库和检索过程。

技术领域

本发明属于以太坊键值存储技术领域，尤其涉及一种数据语义分离存储方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

作为区块链2.0的代表作之一，以太坊通过支持智能合约拓宽了应用场景，使得任何区块链平台之上的编程成为可能。为更好的服务于不同的应用场景，以太坊内部维护一个全局状态MPT(Merkle Patricia Trie)来管理账户数据，随着交易不断被打包进区块，全局状态被交易不断更新。然而，随着越来越多的应用建立在以太坊上，智能合约复杂的逻辑、日益庞大的数据量使得以太坊的拓展变得日益艰难。

以太坊分布式应用(Decentralization Application，DApp)的拓展需要具备两个基本条件：1)交易打包上链低延迟；2)交易执行高效率。随着以太坊陆续推出的PoS(Proofof Stake)共识协议和分片策略，交易上链的吞吐量问题得到了基本的解决。然而，海量的数据使得交易入库速度得不到保证。同时，受数据库规模过大的影响，低效的数据请求速度也会限制DApp的进一步拓展。

为满足以太坊海量的大数据存储和读取需求，以太坊底层使用基于基于日志结构树(Log Structure Merge，LSM)的键值数据库(Key-Value Store，KV Store)来处理其写密集型的负载。KV Store在内存中维护了一个庞大的缓冲池，通过将大量的随机写转化成顺序写的方式保证数据的写入性能。同时，KV Store底层存储被设计为多层，被写入的键值对按照其键的字典序在每一层上全局排序，从而保证较低的查询开销。

然而，KV Store对海量数据的抵抗性是较弱的，随着海量数据的不断写入，KVStore的读写呈现出一种逐渐下滑的趋势。其根本原因在于：(1)随着后续后台合并(compaction)进程对海量数据的排序、重写，它占用了过多的CPU资源和磁盘带宽，这一现象随着数据规模的增大变得更加严重；(2)更倾向于写密集型负载的KV Store对于大量的点查询操作表现不佳，由于每一次查询需要按层遍历所有的数据块，因此查询一笔数据变得十分昂贵。针对此类问题，传统的关系型数据库通过分表、分区、分库实现数据的精细化管理。对于以太坊而言，无冗余的对以太坊数据分布式存储势必会降低整个系统的安全性，将数据分散存储是一个代价高昂的办法。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种数据语义分离存储方法及系统，将以太坊数据分为弱相关的两类数据，实现了不同类型数据的独立管理和存储，节省了一部分读写放大开销，可以加速数据的入库和检索过程。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种数据语义分离存储方法，其包括：

获取以太坊数据；

根据以太坊数据的类型，将以太坊数据插入内存组件中的相应类型的跳表结构中；

其中，跳表结构内存储的以太坊数据达到容量上限时，跳表结构会被冻结，被冻结的跳表结构根据存储的以太坊数据的类型，转换为文件后写入到磁盘组件中相应类型的文件区。

进一步地，若跳表结构被冻结，则从内存组件中重新划分一块区域作为新的跳表结构以支持以太坊数据的插入。