[发明专利]一种基于GZIP的大文件分布式压缩方法在审
申请号: | 202011093139.7 | 申请日: | 2020-10-13 |
公开(公告)号: | CN112217521A | 公开(公告)日: | 2021-01-12 |
发明(设计)人: | 李方翔;金宏洲;程亮 | 申请(专利权)人: | 杭州天谷信息科技有限公司 |
主分类号: | H03M7/40 | 分类号: | H03M7/40 |
代理公司: | 北京高文律师事务所 11359 | 代理人: | 徐江华;李宝玉 |
地址: | 310012 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种基于GZIP的大文件分布式压缩方法,步骤如下:S1将大文件按照设定长度进行切割分段;S2大文件根据顺序切割形成多个子文件,子文件必须包含前一段子文件的最末尾的一个窗口长度的内容;S3:子文件按顺序编号,分发到专职处理压缩的第一集群进行处理;S4第一集群的某台服务器处理完成一个子文件的作业,将处理完成的子文件放置到统一的存储空间,再通过另一台独立服务器处理合并;S5总Huffman编码会送到第二集群,第二集群根据总Huffman编码,将之前处理后的子文件内容,替换成Huffman编码内容;S6将S5步骤完成后的Huffman编码内容按编号顺序重新组合,进行数据合并,完成最终压缩文件的组合。 | ||
搜索关键词: | 一种 基于 gzip 文件 分布式 压缩 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州天谷信息科技有限公司,未经杭州天谷信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011093139.7/,转载请声明来源钻瓜专利网。
- 上一篇:一种垃圾筛选装置
- 下一篇:一种岸基海杂波观测方法