[发明专利]基于堆结构的SequenceFile存储优化方法、装置、设备及存储介质有效
| 申请号： | 202110699134.7 | 申请日： | 2021-06-23 |
| 公开（公告）号： | CN113590566B | 公开（公告）日： | 2023-10-27 |
| 发明（设计）人： | 武文静;刘惠义 | 申请（专利权）人： | 河海大学 |
| 主分类号： | G06F16/174 | 分类号： | G06F16/174;G06F16/17;G06F16/182;G06F16/13;G06F3/06 |
| 代理公司： | 南京纵横知识产权代理有限公司 32224 | 代理人： | 董建林 |
| 地址： | 210024 江*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了基于堆结构的SequenceFile存储优化方法、装置、设备及存储介质，其方法包括：基于小文件分配算法将待合并的小文件分配到待合并队列全集中的待合并队列中；创建相应的堆以及堆全集并为每个堆初始化文件列表和索引列表；为每个待合并的小文件创建单个文件索引；将待合并队列中的小文件存储在相应的堆的文件列表中，同时将每个堆中所有小文件的文件索引存放于相应的索引列表中；基于压缩策略将每个堆中的小文件合并为一个SequenceFile文件；创建一个全局索引文件，使用追加写操作将每个堆对应的索引列表中的内容写入全局索引文件；将所有的SequenceFile文件和全局索引文件上传至HDFS完成优化。本发明能够提高了文件存储和访问效率，改进了HDFS对于海量小文件的存取性能。 | ||
| 搜索关键词： | 基于 结构 sequencefile 存储 优化 方法 装置 设备 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于河海大学，未经河海大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110699134.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种软硬结合且高效传输的视频解码方法
- 下一篇：一种体育考试训练培养方法
