[发明专利]基于日志式文件系统和闪存设备的冷热属性识别和分离方法、装置以及相关产品有效
申请号: | 201810554877.3 | 申请日: | 2018-05-31 |
公开(公告)号: | CN110554999B | 公开(公告)日: | 2023-06-20 |
发明(设计)人: | 宋云龙;陈善席;王斌田;缪勰 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F16/17 | 分类号: | G06F16/17;G06F3/06 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 日志 文件系统 闪存 设备 冷热 属性 识别 分离 方法 装置 以及 相关 产品 | ||
1.一种基于日志式文件系统和闪存设备的冷热属性识别和分离方法,其特征在于,包括:
日志式文件系统根据预设方式确定文件块的冷热属性,并根据所述文件块的冷热属性为所述文件块添加冷热标签,其中,所述文件块至少包括一个数据,所述预设方式包括所述文件块在上一个时间窗的冷热属性,所述日志式文件系统至少根据所述文件块在上一个时间窗的冷热属性预测所述文件块在当前时间窗的冷热属性;;
设备驱动通过扩展协议将所述文件块以及所述冷热标签从所述日志式文件系统发送给闪存设备;
所述闪存设备根据所述冷热标签确定将所述文件块发送给冷物理数据段或者热物理数据段,其中,所述冷物理数据段是专门用于放置冷数据的物理数据段,所述热物理数据段是专门用于放置热数据的物理数据段,所述闪存设备支持冷热分离的功能,所述热数据和所述冷数据是根据数据的生命周期进行区分的,所述热数据的生命周期短于所述冷数据的生命周期。
2.根据权利要求1所述的方法,其特征在于,所述日志式文件系统至少根据所述文件块在上一个时间窗的冷热属性预测所述文件块在当前时间窗的冷热属性,包括:
所述日志式文件系统为所述文件块确定工作集W(t,k),其中,工作集W(t,k)为在时刻t之前的k时间段内写入该文件块的数据的集合,t和k用于表征所述上一个时间窗,t为所述上一个时间窗的最后一个时刻,k为时间窗的持续长度;
所述日志式文件系统确定所述工作集W(t,k)中数据更新的比例u(t,k),其中,u(t,k)为上一个时间窗中工作集W(t,k)中数据更新的比例,t和k用于表征所述上一时间窗,t为所述上一个时间窗的最后一个时刻,k为时间窗的持续长度,0≤u(t,k)≤1,u(t,0)=0,u(t,+∞)=1;
所述日志式文件系统根据所述工作集W(t,k)中数据更新的比例u(t,k)确定所述文件块的冷热属性,其中,所述数据更新的比例u(t,k)越大,所述文件块的热度越高,冷度越低,所述数据更新的比例u(t,k)越小,所述文件块的热度越低,冷度越高。
3.根据权利要求2所述的方法,其特征在于,所述日志式文件系统根据所述工作集W(t,k)中数据更新的比例u(t,k)确定所述文件块的冷热属性,包括:
如果所述工作集W(t,k)中数据更新的比例u(t,k)大于第一阈值,则所述文件块的冷热属性为热属性;
如果所述工作集W(t,k)中数据更新的比例u(t,k)小于或者等于第一阈值,则所述文件块的冷热属性为冷属性。
4.根据权利要求3所述的方法,其特征在于,所述时间窗的持续长度k以及所述第一阈值的具体数值是采用机器学习算法进行训练得到的。
5.根据权利要求4所述的方法,其特征在于,所述时间窗的持续长度k以及所述第一阈值的具体数值是通过离线训练得到的,或者,通过在线训练得到的。
6.根据权利要求2所述的方法,其特征在于,所述日志式文件系统根据所述工作集W(t,k)中数据更新的比例u(t,k)确定所述文件块在所述上一个时间窗的冷热属性,包括:
如果所述工作集W(t,k)中数据更新的比例u(t,k)大于或者等于第二阈值,则所述文件块的冷热属性为大热属性;
如果所述工作集W(t,k)中数据更新的比例u(t,k)小于所述第二阈值并且大于第一阈值,则所述文件块的冷热属性为小热属性;
如果所述工作集W(t,k)中数据更新的比例u(t,k)小于或者等于所述第一阈值并且大于第三阈值,则所述文件块的冷热属性为小冷属性;
如果所述工作集W(t,k)中数据更新的比例u(t,k)小于或者等于所述第三阈值,则所述文件块的冷热属性为大冷属性;
其中,所述第二阈值所述第一阈值所述第三阈值。
7.根据权利要求6所述的方法,其特征在于,所述时间窗的持续长度k、所述第一阈值、所述第二阈值以及所述第三阈值的具体数值是采用机器学习算法进行训练得到的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810554877.3/1.html,转载请声明来源钻瓜专利网。