[发明专利]一种日志压缩和索引方法有效

专利信息
申请号: 201710470489.2 申请日: 2017-06-20
公开(公告)号: CN109101504B 公开(公告)日: 2023-09-19
发明(设计)人: 孙清孟 申请(专利权)人: 恒为科技(上海)股份有限公司
主分类号: G06F16/174 分类号: G06F16/174;G06F16/13;G06F16/14;G06F11/30
代理公司: 上海三方专利事务所(普通合伙) 31127 代理人: 吴玮
地址: 201114 上*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明公开了一种日志压缩和索引方法,1)日志数据特点分析;2)日志预处理;3)压缩算法组合;4)压缩数据索引;5)数据解压缩还原;6)条件查询,采用条件查询模块,其根据用户提供过的字段条件,输出满足字段条件的日志记录数据,实现日志的压缩和索引。本发明提供了一种日志压缩和索引方法,对日志的特点,进行预处理和可逆变换,使之成为更适合压缩的格式,综合运用各种压缩算法,达到最大压缩率的要求,且压缩后的数据便于查询,保证数据完整性、正确性。
搜索关键词: 一种 日志 压缩 索引 方法
【主权项】:
1.一种高效的日志压缩和索引方法,其特征在于,包括以下步骤:1)日志数据特点分析,采用日志数据特点解析模块对日志自身的特点进行解析,包括对日志结构、日志字段数据类型、单字段重复及相似程度和字段间的关系约束等特点进行解析,输出解析结果;2)日志预处理,采用日志预处理模块根据日志分析模块输出的特点,对原始日志数据进行处理,处理内容包括排序、分列、分块及聚合,将数据各字段处理成重复或者相似度高的格式,使数据既能易于压缩,又不会增加检索查询的消耗,然后输出处理好的分块数据;3)压缩算法组合,采用压缩算法组合模块对日志数据进行初次压缩,通过机器学习的方式选择、排列出最优的编码和压缩算法,生成压缩算法组合表;4)压缩数据索引,对于需要查询的字段,压缩数据索引模块提供查询字段对应压缩数据的索引表;5)数据解压缩还原,数据解压缩还原模块根据索引表,对压缩结果进行逆向处理,还原出原始数据;6)条件查询,采用条件查询模块,其根据用户提供过的字段条件,输出满足字段条件的日志记录数据,实现日志的压缩和索引。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于恒为科技(上海)股份有限公司,未经恒为科技(上海)股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201710470489.2/,转载请声明来源钻瓜专利网。

同类专利
  • 一种基于大数据的计算机资源管理系统及方法-202310027718.9
  • 蒋耀亮 - 华苏数联科技有限公司
  • 2023-01-09 - 2023-10-27 - G06F16/174
  • 本发明涉及资源管理技术领域,具体为一种基于大数据的计算机资源管理系统及方法,包括:数据库、数据采集模块、数据分析模块、数据存储模块、数据使用模块和数据显示模块;通过所述数据库存储的文件信息和发送文件的用户信息;通过所述数据采集模块采集所述数据库中文件的保存信息和删除记录;通过所述数据分析模块根据文件特征值进行分类压缩,分析文件类型并选择性存储;通过所述数据存储模块存储分析后的数据并进行定期清理;通过所述数据使用模块获取接收到的文件信息,分析用户关联性和文件类型,并根据文件大小选择性存储至数据存储模块;通过所述数据显示模块显示文件保存位置和文件保存时间,提高文件管理效率,减少存储器的内存资源。
  • 一种网络信息的数据安全防护方法-202311065257.0
  • 姜畅;郭海强;丁钰;丁剑锋;彭加强;李硕瑜;刘轲;张丽君;涂杰 - 湖北华中电力科技开发有限责任公司;光谷技术有限公司
  • 2023-08-23 - 2023-10-27 - G06F16/174
  • 本发明涉及数据处理技术领域,具体涉及一种网络信息的数据安全防护方法,包括:获取网络信息数据并初始化LZW压缩算法中的字典;根据网络信息数据中各种字符数量的占比,获取数据中各种字符的优先级参数;根据各种字符之间在数据中的位置与分布情况,获取各种字符的中心字符位置与各种字符的离散程度;根据各种字符的中心字符位置与各种字符的离散程度,获取各种字符所组成的字符段的概率参数;根据数据中各种字符的优先级参数和字符所组成的字符段的概率参数,获取字符段优先级参数;根据字符段的优先级调整LZW压缩算法中的字典的字符段编码。本发明通过调整LZW压缩算法中的字典的字符段编码,节省字典空间,提高压缩率。
  • 基于堆结构的SequenceFile存储优化方法、装置、设备及存储介质-202110699134.7
  • 武文静;刘惠义 - 河海大学
  • 2021-06-23 - 2023-10-27 - G06F16/174
  • 本发明公开了基于堆结构的SequenceFile存储优化方法、装置、设备及存储介质,其方法包括:基于小文件分配算法将待合并的小文件分配到待合并队列全集中的待合并队列中;创建相应的堆以及堆全集并为每个堆初始化文件列表和索引列表;为每个待合并的小文件创建单个文件索引;将待合并队列中的小文件存储在相应的堆的文件列表中,同时将每个堆中所有小文件的文件索引存放于相应的索引列表中;基于压缩策略将每个堆中的小文件合并为一个SequenceFile文件;创建一个全局索引文件,使用追加写操作将每个堆对应的索引列表中的内容写入全局索引文件;将所有的SequenceFile文件和全局索引文件上传至HDFS完成优化。本发明能够提高了文件存储和访问效率,改进了HDFS对于海量小文件的存取性能。
  • 共同对象的确定方法、装置和存储介质及电子设备-202210356135.6
  • 许杰;蒋杰;李晓森;肖品;欧阳文;陶阳宇 - 腾讯科技(深圳)有限公司
  • 2022-04-06 - 2023-10-24 - G06F16/174
  • 本申请公开了一种共同对象的确定方法、装置和存储介质及电子设备。其中,该方法包括:在对象关系图中获取每个对象的邻居对象标识集合;对每个对象的邻居对象标识集合进行分片压缩,得到并存储每个对象对应的一组压缩后的分片;对存储的每个对象对应的一组压缩后的分片进行解压,得到每个对象对应的一组解压后的分片;将每个对象对应的一组解压后的分片中记录的邻居对象的标识进行排序和拼接,得到每个对象对应的邻居对象标识序列;根据每个对象对应的邻居对象标识序列,确定对象关系图中具有连接关系的两个对象所对应的共同对象。本申请解决了共同对象的确定效率较低的技术问题。
  • 数据压缩方法及相关装置-202210326484.3
  • 何智文;董如良;吴沛;罗斯哲;孙勇;朱洪德;陈泽晖 - 华为技术有限公司
  • 2022-03-30 - 2023-10-24 - G06F16/174
  • 本申请提供了一种数据压缩方法,包括:获取待压缩数据流中的第一数据块,确定第一数据块的至少一个特征值,根据第一数据块的至少一个特征值确定用于压缩第一数据块的第一压缩字典,利用第一压缩字典压缩第一数据块。该方法通过感知待压缩数据流中数据块的信息变动,采用与数据块的特征值对应的压缩字典对数据块进行压缩,避免了压缩效果因待压缩数据流存在局部偏态性而劣化,保障了压缩性能。
  • 一种文件合并方法及装置-202310919449.7
  • 王恩策;孙科;郭俊;罗旋 - 北京火山引擎科技有限公司
  • 2023-07-25 - 2023-10-24 - G06F16/174
  • 本申请公开了一种文件合并方法,包括:获取多个待合并数据湖文件中存储的初始数据,初始数据为经过序列化、压缩和编码中其中一项或者多项处理的数据。将初始数据直接作为目标数据湖文件中的存储数据,并根据存储数据在目标数据湖文件中的存储位置,得到目标数据湖文件的目标元数据。将存储数据和目标元数据写入目标数据湖文件,从而得到由多个待合并数据湖文件合并得到的目标数据湖文件。利用本申请实施例的方案,在将多个待合并数据湖文件合并为目标数据湖文件时,无需首先对待合并数据湖文件中存储的数据进行处理,而是可以直接将原始数据作为目标数据湖文件中的存储数据,从而提升了将多个待合并数据湖文件合并为目标数据湖文件的效率。
  • 文件处理方法、装置、电子设备及计算机可读存储介质-202210335178.6
  • 张瑞 - 深信服科技股份有限公司
  • 2022-03-31 - 2023-10-24 - G06F16/174
  • 本申请涉及一种文件处理方法、装置、电子设备及计算机可读存储介质。该方法包括:基于待解压队列,获取待解压文件;将待解压文件中的压缩率不大于预设压缩率阈值的子文件,解压到内存中;将待解压文件中的压缩率大于所述预设压缩率阈值的子文件,解压到磁盘,并将解压之后的依然被压缩的子文件路径重新写入所述待解压队列,依次获取待解压文件,重复上述步骤,直至待解压队列为空。本申请实施例通过压缩率判断子文件是否为压缩文件,能够有高速准确的判断子文件的类型,节省性能消耗,对非压缩文件的子文件直接在内存进行检测,提升文件检测速度,节约IO开销,提升文件处理效率。
  • 基于新能源电池的数据压缩存储处理方法及系统-202310907237.7
  • 魏拓;黎柬;刘帆 - 深圳市盛弘新能源设备有限公司
  • 2023-07-24 - 2023-10-20 - G06F16/174
  • 本申请实施例提供一种基于新能源电池的数据压缩存储处理方法及系统,通过电池故障决策模型获取样本新能源电池故障数据的第一故障原因估计数据,由此采用故障预测代价函数确定电池故障决策模型所对应的第二网络权重信息,通过初始化迁移预测单元获取样本新能源电池故障数据的第二故障原因估计数据,采用故障预测代价函数确定初始化迁移预测单元所对应的第三网络权重信息,据此对初始化故障定位模型进行权重信息迭代更新,生成目标故障定位模型。由此,可以提高目标故障定位模型的模型训练速度和准确性,进而提高后续基于故障定位节点对任意目标新能源电池故障数据进行数据压缩存储配置的可靠性。
  • 一种数据存储方法、装置、服务器及存储介质-202310771042.4
  • 张豪 - 重庆长安汽车股份有限公司
  • 2023-06-26 - 2023-10-20 - G06F16/174
  • 本申请涉及一种数据存储方法、装置、服务器及存储介质,涉及计算机技术领域。该方法包括:获取多个车辆信号数据,该多个车辆信号数据的数据类型包括实时数据和/或历史数据;基于目标压缩算法以及该多个车辆信号数据的数据类型对该多个车辆信号数据进行压缩处理,得到压缩后的车辆信号数据;将该压缩后的车辆信号数据存储至目标数据库。由此,可以提高增加该目标数据库中的剩余的可存储空间,减轻该目标数据库的存储压力,避免一份数据多副本存储会造成数据冗余,占用的数据存储资源较大,导致数据库的存储压力较高。
  • 基于线泛化的舰艇目标轨迹时空压缩方法-202310784160.9
  • 胡雨轩;卢翠;赵杰;喻鹏;李金鹏 - 中国舰船研究设计中心
  • 2023-06-28 - 2023-10-20 - G06F16/174
  • 本发明公开了一种基于线泛化的舰艇目标轨迹时空压缩方法,包括以下步骤:1)在典型的运动模式发生改变的临界点分割轨迹T,形成独立的、由线段近似的子轨迹序列;2)设定差异阈值,使用道格拉斯‑普克算法继续分割得到的子轨迹序列;3)测量时间同步之后的原始位置与生成位置的间距,通过原始轨迹和泛化轨迹在时间、距离上的差异来评估两种轨迹的误差;对泛化轨迹进行误差修正;4)执行聚类,从聚类形成的簇中提取目标轨迹的运动模式。本发明通过获取更准确的、占用存储空间更小的带有时间戳的位置信息数据流,有效消减因时空相关数据量。
  • 一种基于分片字典树的GPS轨迹点压缩系统及其使用方法-202310517370.1
  • 陈尚武;李华松;吕叶金 - 深蓝感知(杭州)物联科技有限公司
  • 2023-05-06 - 2023-10-20 - G06F16/174
  • 本发明提出了一种基于分片字典树的GPS轨迹点压缩系统,包括GPS定位模块、轨迹点分片压缩模块、轨迹点哈希模块、轨迹分片字典树模块、轨迹时空缩点模块、轨迹分层存储模块;通过上述模块的配合能够使定位设备的轨迹数据在时间与空间维度上均能够被压缩;本发明公开的一种基于分片字典树的GPS轨迹点压缩系统通过构建分片字典树,利用小分片轨迹空间压缩与利用分片字典树的高性能查询实际轨迹交叉点检测,以实现轨迹数据在时间与空间维度上的压缩;即使定位设备处于绕圈与徘徊情况下,依然能够很好实现轨迹数据压缩。
  • 轨迹数据传输方法、装置、设备及存储介质-202110566352.3
  • 宋利利 - 康键信息技术(深圳)有限公司
  • 2021-05-24 - 2023-10-20 - G06F16/174
  • 本发明涉及数据处理领域,公开了一种轨迹数据传输方法、装置、设备及存储介质,该方法包括:获取轨迹数据,并对轨迹数据进行过滤,生成轨迹数据列表,将轨迹数据列表中每个轨迹数据转换为预设数据类型对应的格式,并生成第一字符串,对第一字符串进行压缩并与预设的文件头和预设的文件尾合并,生成压缩文件,然后再将压缩文件中各数据进行编码和二进制码的转换,将其转换为第二字符串,将第二字符串传输至目标终端。本发明的技术方案实现了轨迹数据的传输,且避免轨迹数据在传输过程中出现数据损失,提高了轨迹数据的传输效率。
  • 轨道交通信号的日志压缩方法及装置-202310712201.3
  • 张辉;吴正中;邓能文;汪永刚;孙海晨;邱瑞红;武涛 - 北京城建智控科技股份有限公司
  • 2023-06-15 - 2023-10-17 - G06F16/174
  • 本发明公开了一种轨道交通信号的日志压缩方法及装置。其中,该方法包括:获取轨道交通信号的日志文件;从所述日志文件中读取日志短语,其中,所述日志短语的最小组成单位为单词;加载所述日志文件的目标动态词典,其中,所述动态词典包括多个单词的索引值;采用所述目标动态词典对所述日志短语进行压缩,输出所述日志文件的压缩文件。通过本发明,解决了相关技术轨道交通信号的日志文件的压缩效率低的技术问题,提高了轨道交通信号的日志文件的压缩效率和压缩速度,也减少了压缩文件的数据量。
  • 一种数据的无损压缩及解压方法-202310887083.X
  • 李健毅 - 广州市神悦网络科技有限公司
  • 2023-07-18 - 2023-10-17 - G06F16/174
  • 本发明提出了一种数据的无损压缩及解压方法,涉及数据处理领域。该压缩方法步骤包括:获取原始数据,并读取原始数据的前8位字节,获得第一待处理数据,并通过数据添加条件获得第二待处理数据,根据第二待处理数据的数据长度获取数据A;进一步获取第二待处理数据中除最后4位字节的剩余数据,并保存为数据B;再进一步通过第二待处理数据的最后4位字节进行规则运算,获得数据C;根据第二待处理数据最后4位字节的基准数字,进行排列组合计算获得数据D;最后通过数据A+数据B+数据C+数据D公式获得压缩数据。其能够解决目前所有压缩软件不能重复无损压缩的问题,可以进行多次压缩。
  • 面向嵌入式数据库的数据智能化压缩方法及系统-202310830705.5
  • 张昊然;王宏志;丁小欧;杨东华;左德承 - 哈尔滨工业大学
  • 2023-07-07 - 2023-10-03 - G06F16/174
  • 面向嵌入式数据库的数据智能化压缩方法及系统,涉及数据压缩技术领域,针对现有技术中嵌入式数据库无法适配不同环境,导致压缩速度慢的问题,本申请能对不同场景和系统状况进行分类和识别,并在这之后自动选择需要的压缩算法,并在需要时自动解压缩,可以适应多种使用环境,提高了嵌入式数据库针对不同环境下的压缩速度,并能后智能化判断压缩时机,如物联网设备、手机、个人电脑等设备环境,并根据这些环境下的资源数量进行适配调整,以实现嵌入式数据库的智能化压缩和解压缩,最终达到节约存储资源空间、提高资源利用率、加快网络传输速度的目的。
  • 一种通过镜像层重构的容器镜像去冗余方法-202310702283.3
  • 王晓飞;沈仕浩;冯一诚;张程 - 天津大学
  • 2023-06-14 - 2023-10-03 - G06F16/174
  • 本发明公开了一种通过镜像层重构的容器镜像去冗余方法,其特征在于,S1、采用并行遍历方式对镜像层中的所有文件进行收集路径、名称、大小和哈希值获得相应的镜像文件元数据;S2、根据镜像文件元数据建立镜像合并视图;S3、对比不同镜像的合并视图,确认各文件的冗余性;S4、根据文件的冗余性划分镜像唯一层和镜像共享层;S5、通过层创建阈值来判断每个新建的层是否有创建的必要性,通过权衡阈值来判断整体镜像重构是否有执行的必要性;发明通过重构镜像层中所包含的文件,使尽可能多的层是完全一致的,从而在不破坏原生层结构、保持高度兼容性的前提下,减少镜像冗余。
  • 一种压缩和解压方法及装置-202310086429.6
  • 皮晓聪;李柱栋 - 广州通则康威智能科技有限公司
  • 2023-01-18 - 2023-10-03 - G06F16/174
  • 本发明涉及计算机技术领域,公开了一种压缩和解压方法及装置。该方法将待压缩文件按固定的大小分割成若干个文件块,将每个文件的文件块按顺序写入文件内容区,文件压缩后,将文件数量和文件信息分别存在压缩包的文件数量区和文件信息区,并将整个压缩包的有关信息存在文件包信息区,形成压缩包;在解压时,先在压缩包截取文件数量区、文件信息区和文件包信息区,将这三部分保存在内存里,再按顺序在文件内容区逐个截取文件,截取后的文件保存在目标文件中,每次在压缩包里截取内容,压缩包的大小可以相应减小,压缩包所占用的存储或内存空间也会减小;在解压完成后再使用MD5检验,保证解压后文件的完整性。
  • 文件核查方法、装置、设备和可读存储介质-202310643070.8
  • 王可 - 广州文远知行科技有限公司
  • 2023-06-01 - 2023-09-29 - G06F16/174
  • 本申请公开了一种文件核查方法、装置、设备和可读存储介质,方法包括:接收车端在测试过程中通过无线传输途径定时上传的以当前时间戳命名的各属性记录文件,属性记录文件为记录有车端的各输出目录下各个类日志文件的当前属性信息的压缩csv文件;读取通过物理连接的外置数据盘中的测试文件信息,测试文件为车端测试过程中生成的各个类日志文件的拷贝文件;比较各属性记录文件记录的各个类日志文件的当前属性信息和测试文件信息,确定对测试过程中文件拷贝的核查结果。本申请通过在测试过程中定时上传属性记录文件,并将其与外置数据盘中的测试文件信息进行比较,以实现对外置数据盘中拷贝文件进行文件核查,即核查车端生成的文件的拷贝结果。
  • 栅格文件的编码方法、装置、电子设备及存储介质-202310449507.4
  • 李岩 - 杭州数梦工场科技有限公司
  • 2023-04-18 - 2023-09-29 - G06F16/174
  • 本申请提出了一种栅格文件的编码方法、装置、电子设备及存储介质,涉及数据处理技术领域,方法包括:获取待编码的第一栅格文件,以及第一栅格文件的第一元数据信息;根据第一栅格文件中各栅格的属性值,从各属性值中确定第一属性值;对各第一属性值进行编码,以得到各第一属性值的编码序列;根据第一元数据信息、各第一属性值和各第一属性值的编码序列,确定第一栅格文件的第一编码信息。由此,可以实现对栅格文件进行有效编码,即对栅格文件进行压缩,以降低栅格文件所需占用的存储资源。
  • 一种基于文本数据的压缩方法、装置、设备及介质-202310737083.1
  • 翟辉;龚辉平 - 珠海芯聚科技有限公司
  • 2023-06-20 - 2023-09-29 - G06F16/174
  • 本申请实施例涉及EDA数据压缩技术领域,特别涉及一种基于文本数据的压缩方法、装置、设备及介质,本方法针对芯片仿真的波形数据的特点,分析数据的物理意义以及内在规律,设计出了一套高效无损的压缩方法,比通用压缩算法有更低的压缩率,有效的减少了芯片仿真数据的大小,增强了数据的可移动性,由于低的压缩率,彻底杜绝了IO瓶颈给项目带来的性能损失,而且还能更好的保护数据安全。
  • 一种基于电子设备的文件查找方法和装置-202210283183.7
  • 薛春;潘日维;梁宇;钱璟;李家欣 - 华为技术有限公司
  • 2022-03-22 - 2023-09-29 - G06F16/174
  • 本申请实施例提供了一种基于电子设备的文件查找方法和装置,能够提升重复文件的查找速度,提升文件去重的效率。具体地,该方法包括:电子设备确定电子设备的负载程度;当确定为重负载时,电子设备获取当前读/写文件的第一hash值以及当前读/写文件的索引节点inode号;当确定为轻负载时,电子设备获取电子设备中存储的至少一个文件的第二hash值以及至少一个文件的inode号;其中,第一hash值为当前读/写文件的第一个信息块的hash值,并且用于供电子设备查找具有相同第一hash值的重复文件;第二hash值为至少一个文件的第一个信息块的hash值,并且用于供电子设备查找具有相同第二hash值的重复文件。
  • 数据去重的方法和电子设备-202210280417.2
  • 薛春;潘日维;梁宇;李家欣;钱璟 - 华为技术有限公司
  • 2022-03-21 - 2023-09-29 - G06F16/174
  • 本申请实施例提供了一种数据去重的方法,该方法应用于电子设备,该方法包括:电子设备获取应用程序的第一信息;第一信息包括写I/O大小和写入的页偏移;电子设备根据所述第一信息获取第一内存数据块;电子设备计算所述第一内存数据块的第一数据指纹;电子设备确定是否存在与所述第一数据指纹的对应的第一物理地址;当确定存在所述第一数据指纹的对应的第一物理地址时,电子设备更新所述第一内存数据块和所述第一物理地址的映射关系。该技术方案可以在电子设备使用文件系统进行数据去重时,实现重复数据的零拷贝开销或接近零拷贝开销。
  • 一种降低分布式数据库网路带宽占用的方法、装置、设备及存储介质-202310813397.5
  • 吴昊 - 金篆信科有限责任公司
  • 2023-07-05 - 2023-09-29 - G06F16/174
  • 本发明公开了一种降低分布式数据库网路带宽占用的方法、装置、设备及存储介质,涉及分布式数据库技术领域,包括:配置日志压缩属性,并下发至分布式数据库集群中的所有数据节点;接收到数据库业务语句后,对其进行解析,并下发至主数据节点;主数据节点根据所述数据库业务语句进行数据处理,并产生数据库日志;主数据节点根据所述日志压缩属性对所述数据库日志进行压缩,并传输至备数据节点;备数据节点根据所述日志压缩属性对所述数据库日志进行解压。本发明通过增加独立线程对日志进行压缩,使其在网络传输,降低日志同步的带宽占用,并且,可以设定具体哪些业务在哪些时间段日志进行压缩传输,不影响其他业务性能。
  • 在线图片压缩方法、装置、电子设备及存储介质-202310797606.1
  • 何颖 - 紫光云技术有限公司
  • 2023-06-30 - 2023-09-29 - G06F16/174
  • 本申请提供了一种在线图片压缩方法、装置、电子设备及存储介质,所述方法包括:获取待压缩图片,根据所述待压缩图片确定目标压缩格式,并将所述待压缩图片转换为base64数据;新建空白图片,将所述空白图片的src地址指向所述base64数据;新建canvas画布,将所述空白图片绘制到所述canvas画布中,利用画布算法对所述canvas画布进行压缩,输出base64数据;将输出得到的所述base64数据转换为目标压缩图片。本申请可以简便快速的在线压缩图片,图片压缩方法载入完成即可使用,不依赖后续网络,不需要专业的ps操作知识,而且能够免费提供图片压缩,具有很好的市场前景。
  • 一种区块链数据分级压缩与存储方法及系统-202010244286.3
  • 黄步添;梁逸敏;俞之贝;刘振广;陈建海 - 杭州云象网络技术有限公司
  • 2020-03-31 - 2023-09-29 - G06F16/174
  • 本发明提出了一种区块链数据分级压缩与存储方法及系统,业务方自行判断交易数据的重要度,在发起交易的时候选择一个重要度等级,所述交易数据会携带相应的重要度标识;根据所述交易数据的重要度标识从数据压缩算法库调取相应的数据压缩算法,对所述交易数据进行压缩;在选取压缩算法时,引入一个压缩效率系数λ来描述所述压缩算法的压缩效率;所述压缩后的交易数据经加密后在区块链网络进行发布,区块链网络中的节点根据重要度标识分级存储所述交易数据;区块链网络中的节点分为全量节点与轻量节点,所述全量节点优先存储,当所述全量节点数不满足存储节点数要求时,再从轻量节点中按比例随机选取节点存储。
  • 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统-202310855601.X
  • 王晓寄;杨凡 - 鹏钛存储技术(南京)有限公司
  • 2023-07-13 - 2023-09-29 - G06F16/174
  • 本发明公开了基于可配置逻辑的自适应压缩算法的硬件实现方法及系统,属于数据存储技术领域,该方法包括:高速接口接收来自主机的待压缩数据;将待压缩数据写入输入缓存,输入缓存每集齐设定长度的待压缩数据则进行数据预处理;数据在经过预处理后进行数据分块及分析,统计字符或者字符串出现的频率,记入动态字典中;而后会根据数据类型并参考各个算法的特性,选择合适的算法;最后经过特定算法压缩后输出结果,写入到存储介质。本发明采用了片上可配置逻辑来实现算法策略选择、动态算法及字典,在流片后仍然可以更新算法添加新的算法,在已经实现的算法中也可以增加字典大小,在流片后仍然可以修改算法选择策略。
  • 一种混合数据动态调整迷你缓冲编码方法及装置-202310861935.8
  • 阎立华;蒋清春;任鲲鹏;裴春峰;王永炎;刘进谋 - 上海沄熹科技有限公司
  • 2023-07-14 - 2023-09-22 - G06F16/174
  • 本发明涉及数据流编码算法领域,具体提供了一种混合数据动态调整迷你缓冲编码方法及装置,基于数据流,Simplestream压缩算法对simple8b进行了改造,将simple8b的selector 0和selector1重新定义;Simplestream压缩算法最小单元是8字节,分为控制块、数据块和字节块;控制块由selector 0定义;所述数据块在原先simple8b的基础上,去除了selector 0,重新定义selector 1;字节块不编码,采用原生的二进制码。与现有技术相比,本发明的高效压缩数据的同时,所消耗资源极小,可以降低带宽需求并提高传输效率。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top