[发明专利]一种分布式文件切片生成与存储系统及其控制方法

权利要求书

1.一种分布式文件切片生成与存储系统，其特征在于，包括：

切分器模块，包括Splitter切分器；所述Splitter切分器用于根据自定义大小将文件进行切片，以生成切片文件；

DAGService模块，所述DAGService模块用于将所述切片文件定义为MerkleDAG数据结构；其中，所述MerkleDAG数据结构包括引用部分和数据部分，所述引用部分用于保存分片数据的引用，所述数据部分为本切片内容；

构建MerkleDAG数据结构，通过Layout文件布局器计算切片内容，以填充引用部分和数据部分；

Blockstore模块，所述Blockstore模块用于实现块存储，将所述数据部分内的数据编码成数据块进行操作；

Datastore模块，所述Datastore模块用于数据存储前的缓存，增加levelDB数据库和Batch缓存，以加速文件切片存储过程；

Flatfs模块，所述Flatfs模块用于所述切片文件最终写入磁盘介质，包括对磁盘容量查询和文件读写功能。

2.如权利要求1所述的分布式文件切片生成与存储系统，其特征在于，所述引用部分包括3个部分，分别是引用部分的名字、Hash和Size。

3.一种分布式文件切片生成与存储系统的控制方法，其特征在于，包括如下步骤：

S1，获取源文件相关信息，将源文件以字节流的方式发送给切分器模块；

S2，所述切分器模块拿到文件字节流，默认256KB构建文件切片，根据文件属性、大小等信息自定义构建Splitter切分器；

S3，将所述Splitter切分器传递给DAGService模块，构建MerkleDAG的数据格式；

通过Layout文件布局器拆散并组合成一个符合IPLD规范的DAG对象；

S4，所述DAGService模块会模拟生成目录对象，用来存放于文件叶子节点之间关系的映射link；

S5，初始化Datastore模块，创建batch缓存区，将构建好的DAG对象存入缓存区，加快处理读写文件的速度；

S6，将所述DAGService模块中叶子节点文件切片数据通过Blockstore模块，以protobuf序列化的方式构建文件块；

S7，将序列化后的文件块放入所述Datastore模块，所述Datastore模块分了两个库进行存储；

S8，filedb库存储的关系和映射，通过Flatfs模块与存储介质构建关联，确认切片文件存储介质，并创建存储需要的路径文件夹；

S9，文件块在写入磁盘前，会创建存储目录。