[发明专利]区块链系统的动态存储扩容方法、系统、设备及存储介质

说明书

本发明提供了一种区块链系统的动态存储扩容方法、电子设备及可读存储介质，其中动态扩容存储方法包括根据预先配置的第一配置文件，启动用于存储区块链数据的分布式文件存储系统；进而启动分布式存储插件，并判断区块链网络的节点是否需要启动分布式存储插件；在节点启动分布式存储插件的情况下，获取分布式文件存储系统的第二配置文件并由控制器根据第二配置文件初始化分布式文件接口，以实现区块链系统的扩容需求。本技术方案采用插件式架构，实现了基于分布式存储插件的动态存储扩容，用来存储区块链系统产生的大量区块数据，可以满足几乎任意数量的业务需求，同时不影响区块链系统本身高效的数据查找执行效率，具有可推广价值。

技术领域

本发明涉及分布式系统存储技术领域，具体地，公开了一区块链系统的动态扩容存储方法、系统、电子设备及可读存储介质，该方法基于分布式文件系统(HDFS)和快速存储引擎(RocksDB)实现区块链系统数据存储的动态扩容。

背景技术

随着互联网技术的不断告诉发展，其自身所存在的问题也不断的暴露：主要表现为数据存储中心化和数据处理中心化导致的各方信任难以达成，数据生成和处理历史难以追溯、参与方隐私难以得到有效保护、数据价值难以得到深入挖掘、数据治理难以落地实现。

由于这些问题的存在，区块链(Blockchain)技术应运而生。区块链技术发展到现在，对现有互联网技术存在的关键问题提出了对应的解决方案并且将技术和产业推向了一个新的高度。随着技术的普及以及商业化，大量企事业单位开始将自己的业务通过智能合约部署在区块链上，底层区块链为这些业务提供服务的形态包括：开放联盟链、区块链系统(Blockchain as a service，BAAS)以及公有链。

随着业务复杂性的提升以及时间过程的不断积累，在区块链上产生的数据会越来越多：截至2021年11月份，以太坊的链上全量数据已经突破1050GB。可以预见的是，随着时间的推移，区块链上产生的数据量还会持续以大约每年1.8倍的速度高速增长，这对于区块链节点中的存储数据维护任务将会产生巨大的挑战。同样地，联盟链上的数据同样会随着业务和时间的增长而持续高速增长。目前急需一种工程上可行的扩容存储方案来解决这一难题。

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(largedata set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streamingaccess)文件系统中的数据。

Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

RocksDB存储和访问数百PB的数据是一个非常大的挑战，开源的RocksDB就是FaceBook开放的一种嵌入式、持久化存储、KV型且非常适用于fast storage的存储引擎。

传统的数据访问都是RPC，但是这样的话访问速度会很慢，不适用于面向用户的实时访问的场景。随着fast storage的流行，越来越多的应用可以通过在flash中管理数据并快速直接的访问数据。这些应用就需要使用到一种嵌入式的database。

使用嵌入式的database的原因有很多。当数据请求频繁访问内存或者faststorage时，网路延时会增加响应时间，比如：访问数据中心网络耗时可能就耗费50ms，跟访问数据的耗时一样多，甚至更多。这意味着，通过RPC访问数据有可能是本地直接访问耗时的两倍。另外，机器的core数越来越多，storage-IOPS的访问频率也达到了每秒百万次，传统数据库的锁竞争和context切换会成为提高storage-IOPS的瓶颈。所以需要一种容易扩展和针对未来硬件趋势可以定制化的database，RocksDB就是一种选择。

发明内容