[发明专利]一种分布式文件切片生成与存储系统及其控制方法

说明书

本发明公开了一种分布式文件切片生成与存储系统及其控制方法。分布式文件切片生成与存储系统包括：切分器模块；DAGService模块，所述DAGService模块用于将所述切片文件定义为MerkleDAG数据结构；通过Layout文件布局器计算切片内容，以填充引用部分和数据部分；Blockstore模块，用于实现块存储，将所述数据部分内的数据编码成数据块进行操作；Datastore模块，所述Datastore模块用于数据存储前的缓存，增加levelDB数据库和Batch缓存，以加速文件切片存储过程；Flatfs模块，所述Flatfs模块用于所述切片文件最终写入磁盘介质，包括对磁盘容量查询和文件读写功能。本发明的技术方案解决相关技术中，节点上的文件切片易被篡改，不能够很好的去重节点上存在的文件分片，以及无法通过多重Hash来唯一识别文件切片的技术问题。

技术领域

本发明涉及区块链技术领域，尤其涉及一种分布式文件切片生成与存储系统及其控制方法。

背景技术

传统的网络存储系统使用集中存储服务器来存储所有数据。存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，无法满足大规模存储应用的需求。

与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。

分布式存储系统，可在多个独立设备上分发数据。

分布式网络存储系统采用可扩展的系统结构，使用多个存储服务器共享存储负载，利用位置服务器定位存储信息，不仅提高了系统的可靠性，可用性和访问效率，而且易于扩展。

在分布式存储网络系统中，文件的存储是非常重要的环节。同时文件切片后存储的数据格式也是其一个重要的难点。

然而，在分布式存储网络系统中，传统文件切片的数据格式会导致整个系统极大的存储空间消耗，节点上的文件切片被篡改，不能够很好的去重节点上存在的文件分片，以及无法通过多重Hash来唯一识别文件切片的内容。

因此，有必要提供一种新的分布式文件切片生成与存储系统及其控制方法，以解决上述技术问题。

发明内容

本发明的主要目的在于提供一种分布式文件切片生成与存储系统，旨在解决相关技术中，节点上的文件切片易被篡改，不能够很好的去重节点上存在的文件分片，以及无法通过多重Hash来唯一识别文件切片的技术问题。

为实现上述目的，本发明提供的分布式文件切片生成与存储系统，包括：

切分器模块，包括Splitter切分器；所述Splitter切分器用于根据自定义大小将文件进行切片，以生成切片文件；

DAGService模块，所述DAGService模块用于将所述切片文件定义为MerkleDAG数据结构；其中，所述MerkleDAG数据结构包括引用部分和数据部分，所述引用部分用于保存分片数据的引用，所述数据部分为本切片内容；

构建MerkleDAG数据结构，通过Layout文件布局器计算切片内容，以填充引用部分和数据部分；

Blockstore模块，所述Blockstore模块用于实现块存储，将所述数据部分内的数据编码成数据块进行操作；

Datastore模块，所述Datastore模块用于数据存储前的缓存，增加levelDB数据库和Batch缓存，以加速文件切片存储过程；

Flatfs模块，所述Flatfs模块用于所述切片文件最终写入磁盘介质，包括对磁盘容量查询和文件读写功能。

优选地，所述引用部分包括3个部分，分别是引用部分的名字、Hash和Size。