[发明专利]基于分布式文件系统的数据传递方法、系统及设备

说明书

本申请公开了一种基于分布式文件系统的数据传递方法，所述方法包括：首先在源数据端和目标数据端分别构建数据结构；然后在源数据端封装源数据端和目标数据端可以共同访问的数据类型；接下来基于内存映射传递方法，将封装的数据类型传递到目标数据端，进行目标数据端的数据读写。本申请方法实现思路简单方便，通过采用映射传递技术实现了JNA数据传递的零拷贝，有效减少了数据传递过程中的内存及CPU消耗，特别是对于高负载场景，可有效减少近一半的内存及CPU消耗，避免了数据传递过程中资源的严重浪费。本申请还公开了一种基于分布式文件系统的数据传递系统、设备及存储介质，具有以上有益效果。

技术领域

本发明涉及计算机技术领域，具体来说涉及一种基于分布式文件系统的数据传递方法、系统及设备。

背景技术

在大数据时代背景下，人们需要获取的数据成指数倍增长，通过增加硬盘数量来扩展计算机文件系统的存储方式已经不能满足需求。分布式文件系统将固定于某地点的某个文件系统，扩展到任意多个地点及多个文件系统，众多的节点组成一个文件系统网络，每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输，解决了本地文件系统在文件大小、文件数量及打开文件数等方面的限制问题，分布式文件系统把大量数据分散到不同的节点上存储，同时大大减小了数据丢失的风险。

在数据传递过程中，分布式文件系统对接HDFS协议访问经常涉及到java到c/c++的数据传递，而对于分布式文件系统来说，无效的内存拷贝不仅浪费CPU资源，而且占用内存带宽，使得分布式文件性能大打折扣。例如图1中所示，byte[]a数组要进行k位置的数据传递，对于java的一般做法是：首先使用arraycopy方法把key位置以后的空间进行拷贝，然后利用JNA把新申请的内存空间传递给c空间，c空间拿到内存后对内存进行读写操作。该种处理方法存在着消耗CPU和内存资源的问题，特别是对于高负载场景，容易造成CPU及内存资源的严重浪费。

发明内容

本发明提供一种基于分布式文件系统的数据传递方法、系统及设备，针对HDFS协议读写、JNA数据传递过程，采用内存映射传递技术，实现JNA数据传递的零拷贝。

为实现上述目的，本发明公开了如下技术方案：

本发明一方面提供一种基于分布式文件系统的数据传递方法，所述方法包括以下步骤：

在源数据端和目标数据端分别构建数据结构；

在源数据端封装源数据端和目标数据端可以共同访问的数据类型；

基于内存映射传递方法，将封装的数据类型传递到目标数据端，进行目标数据端的数据读写。

基于上述方案，进一步的，所述在源数据端和目标数据端所构建的数据结构，包括：

数组内存地址；

将要使用的数组内存的偏移量。

进一步的，所述封装源数据端和目标数据端可以共同访问的数据类型，包括：

将数组指针和待传递数据在数组内存中的偏移量封装到数据结构中。

进一步的，所述将封装的数据类型传递到目标数据端，进行目标数据端的数据读写，包括：

将源数据端封装的数据类型传递到目标数据端；

在目标数据端构造提取转换函数进行数据类型的地址转换映射；

在目标数据端对提取转换函数进行读写数据操作。

本发明另一方面提供一种基于分布式文件系统的数据传递系统，所述系统包括：

数据结构构建单元，用于在源数据端和目标数据端分别构建数据结构；

数据类型封装单元，用于在源数据端封装源数据端和目标数据端可以共同访问的数据类型；