[发明专利]一种访问对接器、系统及应用该访问对接器的方法及装置在审
申请号: | 201910898500.4 | 申请日: | 2019-09-23 |
公开(公告)号: | CN110688674A | 公开(公告)日: | 2020-01-14 |
发明(设计)人: | 祖立军;袁航;王颖卓;李树楠;章超;吕智慧;王涛 | 申请(专利权)人: | 中国银联股份有限公司 |
主分类号: | G06F21/62 | 分类号: | G06F21/62;G06F16/16;G06F16/182 |
代理公司: | 11410 北京市中伦律师事务所 | 代理人: | 杨黎峰 |
地址: | 201203 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 对接器 计算服务 文件系统接口 分布式存储 对象存储 兼容接口 接口函数 文件操作 访问 计算服务器 存储访问 存储服务 访问操作 直接访问 解耦 兼容 转化 应用 部署 | ||
1.一种访问对接器,其特征在于,部署于Hadoop计算服务器,且包括:
兼容接口层,用于兼容实现Hadoop的文件系统接口,从而实现与Hadoop计算服务组件的访问对接;
操作实现层,通过向所述兼容接口层提供第一接口函数,从而在所述文件系统接口下实现所述Hadoop计算服务组件所需的文件操作;
存储访问层,通过向所述操作实现层提供第二接口函数,从而将所述文件操作转化为对所述分布式存储中的对象存储的访问操作。
2.根据权利要求1所述的访问对接器,其特征在于,所述分布式存储为Ceph集群。
3.根据权利要求2所述的访问对接器,其特征在于,所述对象存储的访问操作为对Ceph集群中rados集群的访问操作。
4.根据权利要求3所述的访问对接器,其特征在于,所述存储访问层包括:
Crush计算单元,用于和Ceph集群的Mon节点建立通信以获取Ceph集群的Crush Map,并通过Crush算法计算Ceph集群中对象存储设备OSD的位置;
文件读写单元,用于与Ceph集群中的对象存储设备OSD建立Socket通信,以实现对Ceph集群的访问操作。
5.如权利要求1所述的访问对接器,其特征在于,所述文件操作至少包括以下中的一种或多种:
列举出文件及文件夹、创建文件夹、删除文件夹、得到文件的状态信息、重命名文件、文件夹返回、打开文件的指针、将数据流写入打开的文件中、读取打开的文件的数据,实现用户认证。
6.如权利要求3所述的访问对接器,其特征在于,
所述存储访问层由部署在Hadoop指定目录下的动态链接库文件而实现,且所述第二接口函数为所述动态链接库文件中封装的、用于访问所述Ceph集群中rados集群的C++接口函数。
7.如权利要求6所述的访问对接器,其特征在于,
所述操作实现层由部署在Hadoop指定目录下的第二Java包而实现,所述第二Java包用于将所述动态链接库文件中封装的C++接口函数转化为java接口函数,所述java接口函数为所述第一接口函数。
8.如权利要求7所述的访问对接器,其特征在于,所述第二Java包利用JNI实现所述Java接口函数与所述C++接口函数之间的转换。
9.如权利要求1所述的访问对接器,其特征在于,所述兼容接口层由部署在Hadoop指定目录下的第一Java包而实现。
10.如权利要求1所述的访问对接器,其特征在于,所述文件系统接口的操作复用Hadoop分布式文件系统的实现。
11.如权利要求1所述的访问对接器,其特征在于,所述兼容接口层还用于:使Hadoop的yarn组件在运行时调用所述第一Java包中的功能函数。
12.如权利要求1所述的访问对接器,其特征在于,所述访问对接器部署于Hadoop计算服务器集群中的各计算服务器节点。
13.如权利要求1所述的访问对接器,其特征在于,所述Hadoop配置文件内容core-site.xml中包含所述访问对接器的主类信息。
14.一种访问对接系统,包括:Hadoop计算服务器集群与分布式存储,其特征在于,
在所述Hadoop计算服务器集群的各计算服务器节点上部署有如权利要求1-13中任一项所述的访问对接器,用于将各计算服务器节点对接至所述分布式存储。
15.如权利要求15所述的访问对接系统,其特征在于,所述分布式存储利用空闲存储接口向所述Hadoop计算服务器集群以外的计算平台提供存储服务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国银联股份有限公司,未经中国银联股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910898500.4/1.html,转载请声明来源钻瓜专利网。