|
钻瓜专利网为您找到相关结果 1567135个,建议您 升级VIP下载更多相关专利
- [发明专利]面向流数据处理的分级存储容错方法-CN202110170616.3在审
-
毛瀚宇;聂铁铮;张岩峰;谷峪;鲍玉斌;于戈
-
东北大学
-
2021-02-08
-
2021-05-14
-
G06F3/06
- 本发明提供一种面向流数据处理的分级存储容错方法,涉及流数据处理技术领域。该方法基于Kafka系统,采用HDD与SSD混合存储的二级存储结构,SSD为性能层、HDD为存储层,通过热数据识别算法建立相应的分级存储策略;热数据识别算法包括LFU算法与LRU算法,分别用于防止数据频繁迁移和判断热数据;分级存储策略包括自判断分级存储、Leader—Follower分级存储和自定义分级存储。本发明针对容错子系统在I/O操作和搜索效率问题,开展关于容错子系统和Kafka整体系统存储策略的研究,并实现流数据存储的相关优化和Kafka系统进行分级存储的策略迭代,进一步提升其延迟低、吞吐量高的优点
- 面向数据处理分级存储容错方法
|