[发明专利]基于Kafka的分布式数据流分级缓存自动迁移方法有效
| 申请号： | 202010785947.3 | 申请日： | 2020-08-07 |
| 公开（公告）号： | CN112051968B | 公开（公告）日： | 2021-10-22 |
| 发明（设计）人： | 付国;杨慧丽;张岩峰;张一奇 | 申请（专利权）人： | 东北大学 |
| 主分类号： | G06F3/06 | 分类号： | G06F3/06;H04L29/08 |
| 代理公司： | 大连理工大学专利中心 21200 | 代理人： | 戴风友;梅洪玉 |
| 地址： | 110819 辽宁*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于大数据存储领域，涉及一种基于Kafka的分布式数据流分级缓存自动迁移方法。根据Kafka数据访问的特点，设计了热数据的存储结构，不仅减少了存储空间，而且能够根据该结构来管理热数据的元数据信息。根据热数据的结构，提出了结合访问热度和迁移频率的数据自动迁移方法(HHF‑Migrate)，系统会根据该数据识别方法计算所有TopicPartition数据的访问热度和迁移频率，自动将热度和频率低的冷数据从SSD迁移至HDD，而HDD中热度和频率高的热数据将自动迁移至SSD，从未实现分级缓存。本发明设计的系统提升了Kafka的吞吐量，提供较低的延迟并减少存储成本。 | ||
| 搜索关键词： | 基于 kafka 分布式 数据流 分级 缓存 自动 迁移 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东北大学，未经东北大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010785947.3/，转载请声明来源钻瓜专利网。
