[发明专利]数据转换方法、系统和名称节点在审

专利信息
申请号: 201910515774.0 申请日: 2019-06-14
公开(公告)号: CN111782582A 公开(公告)日: 2020-10-16
发明(设计)人: 黄涛 申请(专利权)人: 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
主分类号: G06F16/11 分类号: G06F16/11;G06F16/16
代理公司: 中国贸促会专利商标事务所有限公司 11038 代理人: 赵倩男;许蓓
地址: 100086 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 转换 方法 系统 名称 节点
【权利要求书】:

1.一种数据转换方法,包括:

名称节点获取副本文件;

将所述副本文件转换为待转换文件任务;以及

将所述待转换文件任务发送至数据节点,以便所述数据节点基于所述待转换文件任务将所述副本文件转换为纠删码文件。

2.根据权利要求1所述的数据转换方法,还包括:

所述名称节点响应于所述数据节点转换文件成功,获取所述副本文件的属性信息;

根据所述副本文件的属性信息设置所述纠删码文件的属性信息。

3.根据权利要求2所述的数据转换方法,还包括:

所述名称节点响应于所述数据节点转换文件成功,判断所述副本文件的当前属性信息与发送所述待转换文件任务时对应的属性信息是否一致,若不一致,则将所述副本文件重新转换为待转换文件任务。

4.根据权利要求2所述的数据转换方法,还包括:

所述名称节点响应于所述数据节点转换文件成功,将所述副本文件加写锁后移动到临时目录,将所述纠删码文件移动到原始副本文件目录,并在转换历史中进行日志记录;

若在移动过程中发生异常情况,则将所述副本文件移回到原始副本文件目录。

5.根据权利要求2所述的数据转换方法,还包括:

所述名称节点若检测到所述数据节点超过预定时间没有返回响应信息,或者确定所述数据节点执行转换任务失败次数超过阈值,则将所述数据节点标记为异常数据节点。

6.根据权利要求1所述的数据转换方法,其中,获取副本文件包括:

周期性扫描预定目录下的文件获取副本文件,和/或,调用消费类实时获取新增副本文件。

7.根据权利要求1所述的数据转换方法,还包括以下至少一个对所述副本文件进行过滤的步骤:

所述名称节点将所述副本文件与已转换文件进行对比,滤除所述副本文件中已完成转换的文件;

所述名称节点滤除所述副本文件中不符合路径条件的文件;

所述名称节点滤除所述副本文件中不符合文件属性条件的文件;

所述名称节点使用文件扩展属性对所述副本文件进行已处理标记。

8.根据权利要求1-7任一所述的数据转换方法,其中,

所述名称节点将满足条件的副本文件加入到待转换文件队列中;

轮询待转换文件队列确定待转换副本文件;

根据转换选择目标策略选择数据节点;

基于文件转换命令将待转换副本文件封装为待转换文件任务;

将所述待转换文件任务发送到所述数据节点对应的数据节点描述器中的文件转换任务队列中,以便所述数据节点根据待转换文件任务将所述副本文件转换为纠删码文件。

9.根据权利要求4所述的数据转换方法,还包括:

所述名称节点在异常退出并重启后,读取所述转换历史中的日志记录,并将所述日志记录与预定目录进行比对去重,将去重后的副本文件转换为待转换文件任务。

10.一种名称节点,包括:

文件获取单元,被配置为获取副本文件;

任务转换单元,被配置为将所述副本文件转换为待转换文件任务;以及

任务派发单元,被配置为将所述待转换文件任务发送至数据节点,以便所述数据节点将所述副本文件转换为纠删码文件。

11.根据权利要求10所述的名称节点,还包括:

属性设置单元,被配置为响应于所述数据节点转换文件成功,获取所述副本文件的属性信息,根据所述副本文件的属性信息设置所述纠删码文件的属性信息。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910515774.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top