[发明专利]基于远程直接内存访问的文件币集群数据传输方法、系统

说明书

本发明提供一种基于远程直接内存访问的文件币集群数据传输方法、系统，所述方法包括如下步骤：在文件币集群的数据传输接口设置基于RDMA协议的RDMA接口；第一个封装节点接收客户发送的扇区数据进行封装，封装完成后，调用RDMA接口，将扇区数据串行发送至下一个封装节点进行封装；最后一个封装节点的HCA卡接收到上一个封装节点发送的扇区数据，调用RDMA接口直接将扇区数据发送至本封装节点用户态内存进行封装；封装完成后，调用RDMA接口，将封装完成的扇区数据串行发回至最后一个封装节点的HCA卡，并通过HCA卡将扇区数据发送至分布式存储。RDMA接口进行数据传输，不需要内存多次复制，提高了数据传输效率。

技术领域

本发明涉及文件币集群节点间数据传输技术领域，具体涉及一种基于远程直接内存访问的文件币集群数据传输方法、系统。

背景技术

Web 1.0出现于20世纪90年代和21世纪初，当时的互联网是静态、只读的HTML页面。用户之间的互联也相当有限。Web2.0也被称为读写网络，开始于2004年左右，至今也仍然处于Web2.0时代。它由社交媒体网站、博客和在线社区组成，终端用户可以在任何时间实时地交互和协作。Web3.0在无中介的读写网络中提供更好的以用户为中心的体验。技术使得个人在缺省情况下能控制数据隐私和所有权。Web3.0引入去中心化互联网，本质上，Web3.0技术为P2P通信、支付、服务和市场提供了基础。

IPFS是为实现 Web3.0推出的去中心化存储解决方案。作为一种面向全球的点对点分布式版本文件系统，IPFS凭借去中心化、开放、安全性与透明性高等优势，已经成为一个流行的网络存储协议。它是一个类似 HTTP 协议的互联网底层协议，已被成功应用于数据存储、文件传输、网络视频、社交媒体、去中心化交易等各个领域。在这些技术趋势的推动下，基于 IPFS 网络的相关Filecoin（FIL，文件币）产业也在不断壮大。Filecoin 是一个将云存储转变为算法市场的去中心化存储网络，矿工通过提供存储、分发和检索数据服务获得奖励，而客户则需要付费获得这些服务。目前全球IPFS 项目逐渐增加，数据存储市场的需求也在逐步加大，Filecoin 作为激励层，成为市场为IPFS 保驾护航的迫切需求。Filecoin 是帮用户存储数据来获取奖励的过程，分为数据封存和共识证明两个过程。

RDMA是一种新的直接内存访问技术，RDMA让计算机可以直接存取其他计算机的内存，而不需要经过处理器的处理。在实现上，RDMA实际上是一种智能网卡与软件架构充分优化的远端内存直接高速访问技术，通过将RDMA协议固化于硬件(即网卡)上，以及支持Zero-copy和Kernel bypass这两种途径来达到其高性能的远程直接数据存取的目标。

当前Filecoin集群节点之间基于主流TCP/IP协议，实现节点之间数据传输，数据在每个节点内部封装过程需要多次复制，由网卡内存，复制到操作系统内存，再复制到封装进程内存；过多的内存复制导致巨大的数据量传输效率低下。另外，集群节点间数据传输使用TCP/IP协议，TCP在建立链接需要进行多次“握手”，当前基于TCP/IP协议的数据处理流程也影响了集群内数据传输的效率。

发明内容

针对当前Filecoin集群节点之间基于主流TCP/IP协议，实现节点之间数据传输，数据在每个节点内部封装过程需要多次复制，由网卡内存，复制到操作系统内存，再复制到封装进程内存；过多的内存复制导致巨大的数据量传输效率低下。另外，集群节点间数据传输使用TCP/IP协议，TCP在建立链接需要进行多次“握手”，当前基于TCP/IP协议的数据处理流程也影响了集群内数据传输的效率的问题，本发明提供一种基于远程直接内存访问的文件币集群数据传输方法、系统。

本发明的技术方案是：

一方面，本发明技术方案提供一种基于远程直接内存访问的文件币集群数据传输方法，文件币集群封装节点包括多个，所述方法包括如下步骤：

在文件币集群的数据传输接口设置基于RDMA协议的RDMA接口；