[发明专利]一种访问对接器、系统及应用该访问对接器的方法及装置

说明书

本发明提供了一种访问对接器、系统及应用该访问对接器的方法及装置，其中该访问对接器部署于Hadoop计算服务器，且包括：兼容接口层，用于兼容实现Hadoop的文件系统接口，从而实现与Hadoop计算服务组件的访问对接；操作实现层，通过向兼容接口层提供第一接口函数，从而在文件系统接口下实现Hadoop计算服务组件所需的文件操作；存储访问层，通过向操作实现层提供第二接口函数，从而将文件操作转化为对分布式存储中的对象存储的访问操作。利用上述访问对接器，能够实现Hadoop计算服务与存储服务解耦分离，直接访问分布式存储中的对象存储。

技术领域

本发明属于分布式存储技术领域，具体涉及一种访问对接器、系统及应用该访问对接器的方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着大数据技术的不断发展，Hadoop计算服务与存储服务解耦分离由于具有以下优势而逐渐形成为新的发展趋势：一、可以使存储资源的技术架构相对稳定，避免受到计算组件的频繁升级或者扩展的影响；二、便于实现存储资源的共享。

然而在现有技术中，并没有性能好且可用性高的解决方案以实现上述Hadoop计算服务与存储服务的解耦分离。

发明内容

针对上述现有技术中难以实现Hadoop计算服务与存储服务解耦分离这一问题，提出了一种访问对接器、系统及应用该访问对接器的方法及装置，利用这种访问对接器、系统及其应用，能够解决上述问题。

本发明提供了以下方案。

第一方面，提供一种访问对接器，部署于Hadoop计算服务器，包括：兼容接口层，用于兼容实现Hadoop的文件系统接口，从而实现与Hadoop计算服务组件的访问对接；操作实现层，通过向兼容接口层提供第一接口函数，从而在文件系统接口下实现Hadoop计算服务组件所需的文件操作；存储访问层，通过向操作实现层提供第二接口函数，从而将文件操作转化为对分布式存储中的对象存储的访问操作。

在一些可能的实施方式中，分布式存储为Ceph集群。

在一些可能的实施方式中，对象存储的访问操作为对Ceph集群中rados集群的访问操作。

在一些可能的实施方式中，存储访问层包括：Crush计算单元，用于和Ceph集群的Mon节点建立通信以获取Ceph集群的Crush Map，并通过Crush算法计算Ceph集群中对象存储设备OSD的位置；文件读写单元，用于与Ceph集群中的对象存储设备OSD建立Socket通信，以实现对Ceph集群的访问操作。

在一些可能的实施方式中，文件操作至少包括以下中的一种或多种：列举出文件及文件夹、创建文件夹、删除文件夹、得到文件的状态信息、重命名文件、文件夹返回、打开文件的指针、将数据流写入打开的文件中、读取打开的文件的数据，实现用户认证。

在一些可能的实施方式中，存储访问层由部署在Hadoop指定目录下的动态链接库文件(Libcephrgw.so)而实现，且第二接口函数为动态链接库文件Libcephrgw.so中封装的、用于访问Ceph集群中rados集群的C++接口函数。

在一些可能的实施方式中，操作实现层由部署在Hadoop指定目录下的第二Java包(cephlibrgw.jar)而实现，第二Java包(cephlibrgw.jar)用于将动态链接库文件(Libcephrgw.so)封装的C++接口函数转化为java接口函数，且第一接口函数为java接口函数。

在一些可能的实施方式中，第二Java包(cephlibrgw.jar)利用JNI实现Java接口函数与C++接口函数之间的转换。