[发明专利]存算分离方法、系统、设备及介质

说明书

本申请公开了存算分离方法、系统、设备及介质，包括：获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件系统，以便所述分布式文件系统处理所述文件请求，并返回相应的处理结果；将所述处理结果返回给所述原生HDFS客户端。这样，兼容HDFS原生协议，在大数据存储服务中实现HDFS原生协议进行文件请求处理，替换Hadoop大数据生态中计算平台的本地HDFS，支持存算分离，能够降低部署复杂度，无需在计算平台安装插件，提升系统可维护性。

技术领域

本申请涉及存储技术领域，特别涉及存算分离方法、系统、设备及介质。

背景技术

近年来，随着大数据存储业务的持续发展，出于弹性扩容，成本考虑，大数据存储分离成为主要发展方向。并且随着应用需求的不断演变，控制成本、按需索取成为大数据基础技术发展的主要方向。同时面对海量非结构化数据，大数据存储系统，实现原生HDFS（即Hadoop Distributed File System，即海杜普分布式文件系统）协议支持、非结构化多协议存储统一、突破原有元数据单命名空间缺陷、兼容大数据安全生态是大数据存储分离中的主要挑战。

现有技术中，主要采用以下两种方式实现存算分离：（1）HDFS分布式存储系统与计算平台进行分离。这种方式部署复杂度高。（2）通过在计算节点安装插件实际计算平台与分布式存储系统的对接，这种方式系统可维护性差。

发明内容

有鉴于此，本申请的目的在于提供存算分离方法、系统、设备及介质，能够降低部署复杂度，无需在计算平台安装插件，提升系统可维护性。其具体方案如下：

第一方面，本申请公开了一种存算分离方法，应用于存储节点中部署的大数据存储服务，包括：

获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；

基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件系统，以便所述分布式文件系统处理所述文件请求，并返回相应的处理结果；

将所述处理结果返回给所述原生HDFS客户端。

可选的，所述将解析后的文件请求发送至分布式文件系统，包括：

调用DFS客户端将解析后的文件请求发送至分布式文件系统。

可选的，所述将解析后的文件请求发送至分布式文件系统，包括：

对所述解析后的文件请求中的位置块关键字段进行重定义，将重定义后的文件请求发送至分布式文件系统。

可选的，所述对所述解析后的文件请求中的位置块关键字段进行重定义，包括：

将位置块关键字段中的块标识重定义为文件标识、numBytes重定义为块大小，块生成时间重定义为块在文件中的偏移量。

可选的，所述获取原生HDFS客户端发送的文件请求之前，还包括：

获取所述原生HDFS客户端发送的建链请求；

基于HDFS原生协议处理所述建链请求，与所述原生HDFS客户端建立链接。

可选的，所述与所述原生HDFS客户端建立链接之后，还包括：

获取所述原生HDFS客户端发送的元数据请求；

向所述原生HDFS客户端返回本节点的IP信息，以便所述原生HDFS客户端基于所述IP信息发送所述文件请求。

可选的，还包括：

启动一个进程，以通过该进程监听所述元数据请求以及所述文件请求。

可选的，所述向所述原生HDFS客户端返回本节点的IP信息，包括：

向所述原生HDFS客户端返回本节点的IP信息以及预设数量个其他存储节点的IP信息。