[发明专利]一种数据处理方法及装置有效
申请号: | 201810983686.9 | 申请日: | 2018-08-27 |
公开(公告)号: | CN109302448B | 公开(公告)日: | 2020-10-09 |
发明(设计)人: | 赵辉;任永强 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 北京中博世达专利商标代理有限公司 11274 | 代理人: | 申健 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 | ||
一种数据处理方法及装置,涉及存储技术领域,能够解决时延较大的问题。该方法包括:服务节点接收数据处理请求,数据处理请求用于请求在第一目录中创建目标数据或者用于请求修改第一目录中的目标数据,服务节点用于管理对第一目录中所有数据以及元数据的操作;响应于数据处理请求,服务节点处理目标数据,并将处理后的目标数据的元数据存储于第一存储设备中,第一存储设备属于至少三个存储设备,服务节点与至少三个存储设备中的每个存储设备均连接;服务节点发送数据处理响应,数据处理响应用于指示服务节点已处理目标数据。
技术领域
本发明涉及存储技术领域,尤其涉及一种数据处理方法及装置。
背景技术
分布式文件系统中,客户端代理(Client Agent,CA)管理对数据的操作,元数据服务器(Metadata Server,MDS)管理对元数据的操作。
现有技术中,CA与MDS属于不同的物理节点。对于单个小文件的处理,如创建、删除、写数据、改数据或删除数据,均需要CA与MDS之间传输远程过程调用协议(RemoteProcedure Call Protocol,RPC)消息,以实现对文件以及该文件的元数据的管理。但是,RPC消息的交互会导致处理文件的时延较大。
发明内容
本申请提供一种数据处理方法及装置,能够解决时延较大的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,提供一种数据处理方法,在接收到数据处理请求后,服务节点响应该数据处理请求,处理目标数据,并将处理后的目标数据的元数据存储于第一存储设备中,然后,该服务节点发送用于指示该服务节点已处理目标数据的数据处理响应。这里的服务节点用于管理对第一目录中所有数据以及每一数据的元数据的操作,服务节点与至少三个存储设备中的每个存储设备均连接,第一存储设备属于至少三个存储设备,上述数据处理请求用于请求在第一目录中创建目标数据或者用于请求更新第一目录中的目标数据。
本申请中的服务节点管理对第一目录中所有数据以及每一数据的元数据的操作,这样,在接收到用于请求在第一目录中创建目标数据或者用于请求更新第一目录中的目标数据的数据处理请求后,第一服务节点无需再与其他设备交互,即可实现对目标数据以及目标数据的元数据的操作。与现有技术中CA与MDS之间需要传输RPC消息才能实现对某一数据和元数据的管理相比,本申请提供的数据处理方法有效的降低了时延。
容易看出的是,本申请中的服务节点相当于现有技术中CA与MDS的集成设备,该服务节点具备CA的功能,也具备MDS的功能。
本申请中的目标数据可以为文件或者目录,本申请对此不作具体限定。
可选的,在本申请的一种可能的实现方式中,若上述数据处理请求用于请求在第一目录中创建目标数据,该数据处理请求包括第一目录的标识和目标数据的名称。相应的,上述服务节点发送的数据处理响应包括目标数据的句柄。目标数据的句柄用于唯一表征目标数据。在上述数据处理请求用于请求在第一目录中创建目标数据的情况下,上述“响应于数据处理请求,服务节点处理目标数据,并将处理后的目标数据的元数据存储于第一存储设备中”的方法为:服务节点查询目标数据的名称在第一目录中是否已经存在;在第一目录不存在目标数据的名称的情况下,服务节点创建目标数据,并获取创建目标数据的时间;进一步地,服务节点将目标数据的元数据存储于第一存储设备中,该目标数据的元数据包括目标数据的名称和创建目标数据的时间。
在数据处理请求用于请求在第一目录中创建目标数据的情况下,服务节点在第一目录中创建目标数据,并将该目标数据的元数据存储于第一存储设备中。在完成创建后,服务节点向第一协议节点发送包括目标数据的句柄的数据处理响应,以便于第一协议节点向客户端发送该目标数据的句柄,从而使得客户端根据目标数据的句柄请求写数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810983686.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:报文处理方法、装置及系统
- 下一篇:数据写入方法、数据读取方法、装置和服务器