[发明专利]数据去重方法及装置在审
| 申请号： | 201710929827.4 | 申请日： | 2017-09-30 |
| 公开（公告）号： | CN110069460A | 公开（公告）日： | 2019-07-30 |
| 发明（设计）人： | 刘凯 | 申请（专利权）人： | 北京国双科技有限公司 |
| 主分类号： | G06F16/174 | 分类号： | G06F16/174;G06F16/903 |
| 代理公司： | 北京康信知识产权代理有限责任公司 11240 | 代理人： | 赵囡囡 |
| 地址： | 100086 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种数据去重方法及装置。其中，该方法包括：根据预设排序条件，对第一文件和第二文件中的多条数据分别进行排序，其中，第一文件和第二文件中设置有对应的指针，指针用于指示文件中每条数据所在行的排序位；根据排序结果，判断第一字符串数据与第二字符串数据是否相同；若判断出第一字符串数据与第二字符串数据相同，记录相同的字符串数据在对应文件中的位置信息；根据记录的位置信息，对第一文件和第二文件中相同的字符串数据进行去重处理。本发明解决了相关技术中对于数据量较大的文件，在匹配重复数据时，效率较低的技术问题。 | ||
| 搜索关键词： | 字符串数据 去重 排序 指针 对应文件 排序结果 排序条件 指示文件 重复数据 数据量 记录 预设 匹配 | ||
【主权项】：
1.一种数据去重方法，其特征在于，包括：根据预设排序条件，对第一文件和第二文件中的多条数据分别进行排序，其中，所述第一文件和第二文件中设置有对应的指针，所述指针用于指示文件中每条数据所在行的排序位，所述第一文件的指针指示的字符串数据对应为第一字符串数据，所述第二文件的指针指示的字符串数据为第二字符串数据，所述第一文件中的数据量大于所述第二文件中的数据量；根据排序结果，判断所述第一字符串数据与所述第二字符串数据是否相同；若判断出所述第一字符串数据与所述第二字符串数据相同，记录相同的字符串数据在对应文件中的位置信息；根据记录的位置信息，对所述第一文件和第二文件中相同的字符串数据进行去重处理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司，未经北京国双科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710929827.4/，转载请声明来源钻瓜专利网。
- 上一篇：文件监控方法、装置和电子设备
- 下一篇：数据共享方法及装置
- 同类专利
- 一种文件仓库存储的智能排重方法及系统-201610477870.7
- 时宜;涂高元;邱志斌;陈雅贤 - 厦门天锐科技股份有限公司
- 2016-06-26 - 2019-11-12 - G06F16/174
- 本发明涉及一种文件仓库存储的智能排重方法，包括以下步骤：计算待存储文件的MD5值以及该待存储文件的分段MD5值；将该待存储文件的MD5值、大小以及分段MD5值同时进行上传；接收到上述三部分信息后进行索引检索，判断相同的文件是否存在；其系统包括：文件上传模块、文件接收模块、仓库索引模块、文件记录模块和磁盘存储模块，文件上传模块连接文件接收模块，文件接收模块分别连接仓库索引模块、文件记录模块和磁盘存储模块。本发明使不同文件在存储时因MD5碰撞造成丢失文件的概率降到最低，提升了相同文件判断的性能，有效地保障了文件定位打开的性能要求。
- 重复数据删除的方法、装置、存储节点及存储介质-201910613418.2
- 张天洁 - 新华三技术有限公司成都分公司
- 2019-07-08 - 2019-11-08 - G06F16/174
- 本发明实施例的目的在于提供一种重复数据删除的方法、装置、存储节点及存储介质，所述方法包括：获取本地的缓存OSD区中缓存的数据对象，其中，数据对象为待存储数据按照第一预设规则切分后得到、并暂存至本地的缓存OSD区中；将数据对象按照第二预设规则切分成多个第一数据块；针对多个第一数据块中每一第一数据块，依据一个第一数据块的数据指纹，按照预设算法确定第二存储节点，并将该第一数据块发送至第二存储节点，以使第二存储节点对该第一数据块进行重复数据删除处理后存储至第二存储节点的存储OSD区。本发明在不增加内存耗费的前提下实现了重复数据删除的效果，提升分布式存储系统中存储空间的利用率。
- 一种基于物联网的医疗数据处理方法及系统-201910725868.0
- 王强;俞梦孙 - 江苏康尚生物医疗科技有限公司
- 2019-08-07 - 2019-11-05 - G06F16/174
- 本发明公开了一种基于物联网的医疗数据处理方法，首先利用物联网对医疗传感节点的信号进行感知，获取所述医疗传感节点发送的物联网信息并对其进行压缩测量；然后通过汇聚处理模块搜集整理所述医疗传感节点的压缩测量信号，并传送至数据分析与处理中心；最后数据分析与处理中心对数据恢复处理。本发明实现了物联网信息数据的无损压缩和恢复，能有效节约感知节点的存储空间和功耗，提高了整个网络的能效比。
- 文件重删方法、装置、系统及计算机可读存储介质-201910656838.9
- 刘明甲 - 苏州浪潮智能科技有限公司
- 2019-07-19 - 2019-11-01 - G06F16/174
- 本发明公开了一种文件重删方法，先接收待存储文件的指纹信息并发送至搜索模块，利用搜索模块检索其中是否存在与其相同的指纹信息，如果接收到搜索模块返回的存在指令，则不接收待存储文件的数据体，并生成待存储文件的包括指纹信息的元数据且保存至对象存储系统中，如果接收到的是不存在指令，则将待存储文件的数据体以及生成的待存储文件的包括指纹信息的元数据保存至对象存储系统中，并将元数据同步至搜索模块中。可见，这种方法在待存储文件是重复文件的情况下，大大减少了网络带宽和存储空间的占用，提高了对象存储系统的存储效率。本发明还公开了一种文件重删装置、系统及计算机可读存储介质，具有与上述文件重删方法相同的有益效果。
- 用于对基于字符串的文件进行压缩的方法和装置-201611263881.1
- 董琦琦;陈劼;蒋强 - 中国移动通信集团江苏有限公司;中国移动通信集团公司
- 2016-12-30 - 2019-10-29 - G06F16/174
- 本申请涉及对基于字符串的文件进行压缩的方法和装置，其中，该方法包括以下步骤：(a)将该文件切分成一个或多个数据块；(b)针对该一个或多个数据块的每个数据块，获得由该数据块中的所有初始字符串的坐标形成的压缩坐标集合；(c)对压缩坐标集合中的坐标进行压缩操作，得到经压缩的坐标集合，并用该经压缩的坐标集合中的所有坐标替换压缩坐标集合中受到压缩操作的所有坐标；(d)迭代进行步骤(c)，直到压缩坐标集合中的坐标不能再进行压缩操作为止；(e)获得与该数据块对应的压缩字典；(f)根据压缩字典对数据块进行压缩，形成压缩包；(g)将与一个或多个数据块对应的各个压缩包拼装成压缩文件。
- 一种日志压缩方法及日志处理设备、日志处理系统-201510726130.8
- 徐峰 - 华为数字技术（苏州）有限公司
- 2015-10-30 - 2019-10-25 - G06F16/174
- 本发明实施例公开了一种日志压缩方法及日志处理设备、日志处理系统，用于灵活且实时地选择压缩算法进行日志数据压缩，减少存储空间，降低存储成本。本发明实施例方法包括：日志处理设备按照预设的数据提取规则，从按照时间顺序接收并存储的日志流量中提取目标日志流量；所述日志处理设备从所述目标日志流量中获取日志数据；所述日志处理设备根据所述日志数据，判断是否需要更换当前压缩算法；若需要更换当前压缩算法，所述日志处理设备根据所述日志数据从预置压缩算法中选择目标压缩算法；所述日志处理设备根据所述目标压缩算法对所述日志数据进行压缩得到压缩数据包，将所述当前压缩算法更新为所述目标压缩算法。
- 数据压缩方法、设备与计算设备-201610878348.X
- 张希舟;张剑;牛进保;全绍晖 - 华为技术有限公司
- 2016-09-30 - 2019-10-18 - G06F16/174
- 本申请公开了一种数据压缩方法，常用于存储阵列中。该方法通过将参考数据块所在的存储空间的起始逻辑地址的末尾n bit地址设置为0，使得建立该参考数据块对应的哈希表的过程更加简单，提升了数据压缩的效率。
- 一种基于FPGA的Gzip解压缩方法、装置及系统-201910384799.1
- 刘海威;史宏志;郭振华 - 苏州浪潮智能科技有限公司
- 2019-05-09 - 2019-10-15 - G06F16/174
- 本发明公开了一种基于FPGA的Gzip解压缩方法、装置、系统及服务器，包括：处理器对获取的Gzip压缩文件中压缩数据块中的数据块头进行解析，确定压缩数据块的编码模式；若编码模式为动态Huffman(霍夫曼)编码模式，则将每个待解压数据块和各自对应的动态霍夫曼码表和数据块信息发送到FPGA，以利用FPGA对待解压数据块进行并行解码；本发明通过CPU+FPGA联合实现Gzip解压缩，利用FPGA根据处理器解析得到的霍夫曼码表，对待解压数据块进行并行解码，提升了Gzip解压缩的性能，降低了处理器的利用率；并且处理器采用范式霍夫曼编码模式生成动态霍夫曼码表，减少了所需的码表量，进一步提高了解码速度。
- 一种稀疏矩阵压缩方法、装置、设备及存储介质-201910520951.4
- 张红林;陈华明;武晓睿 - 腾讯科技（深圳）有限公司
- 2019-06-17 - 2019-10-15 - G06F16/174
- 本发明涉及一种稀疏矩阵压缩方法、装置、设备及存储介质，所述方法包括：构建原始特征集合；获取用户的样本数据，根据所述用户的样本数据从所述原始特征集合中确定用户的稀疏特征集合；对所述稀疏特征集合中的元素进行压缩编码，得到压缩特征集合，建立所述稀疏特征集合中的元素与所述压缩特征集合中的元素的一一对应关系；根据所述用户的样本数据、所述稀疏特征集合、所述压缩特征集合，以及所述对应关系，构建用户特征压缩矩阵。本发明能够减小特征向量化时的特征空间，减小需要开辟的内存空间，加速整个计算过程。
- 文件压缩、解压缩方法、装置及计算机设备-201910436564.2
- 李创锋;陈彦宇 - 深圳市金泰克半导体有限公司
- 2019-05-23 - 2019-10-11 - G06F16/174
- 本申请涉及一种文件压缩、解压缩方法、装置及计算机设备。文件压缩方法包括：若计时器定时时间到，扫描硬盘中的多个文件的属性信息，在多个文件中选取属性信息满足预设条件的待压缩文件，将待压缩文件进行压缩，得到压缩文件。文件解压缩方法包括：若计时器定时时间到，扫描硬盘中的多个压缩文件的属性信息，在多个压缩文件中选取属性信息满足预设条件的待解压缩文件，将待解压缩文件进行解压缩，得到文件。本发明实施例能够自动在硬盘中确定待压缩文件，并对待压缩进行压缩，并且能够自动在硬盘中确定待解压缩文件，对待解压缩文件进行解压缩，无需使用者耗费大量时间精力手动选择文件压缩或解压缩，节省用户时间，便于使用。
- 支持所有权认证的客户端图像模糊去重方法-201611060072.0
- 李丹平;杨超;姜奇;李金库;马建峰;李成洲;何司蒙;卢璐 - 西安电子科技大学
- 2016-11-25 - 2019-10-11 - G06F16/174
- 本发明公开了一种支持所有权认证的客户端图像模糊去重方法，主要解决现有去重技术准确性低、安全性低的问题。其实现方案是：(1)检测服务器端是否存在与客户端待去重的原始图像相似的图像，若是，则进行“所有权认证”；若否，则不进行去重；(2)服务器对原始图像进行“所有权认证”，若认证成功，则进行质量比较，若认证失败，则拒绝客户端进行去重；(3)服务器比较原始图像的质量是否大于相似图像的质量，若是，则将相似图像的链接返回给客户端；若否，则将原始图像上传并存储在服务器端。本发明提高了重复检测的准确性，保证了“所有权认证”的安全性，使得服务器端可以保留质量好的图像，可用于对相似图像进行去重。
- 经去重复文件的细粒度部分召回-201480010936.0
- P·谢;C·H·张;K·汉萨恩;A·古普塔;R·卡拉赫;D·赫芬布罗克 - 微软技术许可有限责任公司
- 2014-02-26 - 2019-10-01 - G06F16/174
- 本公开涉及基于跟踪脏(写修改)范围(用户写)以消除或最小化读和写已优化相邻数据的方式，来部分召回经去重复文件的文件范围。范围的粒度不依赖于用于跟踪范围的任何文件系统粒度。在一个方面，提供了保留数据完整性和崩溃一致性的跟踪数据的懒惰转储清除在一个方面，还描述了在数据去重复系统正在优化打开文件的同时，支持在该文件上的细粒度部分召回。
- 一种基于编程语言对文件进行压缩的方法和电子设备-201910335096.X
- 李天驰;孙悦 - 深圳点猫科技有限公司
- 2019-04-24 - 2019-09-13 - G06F16/174
- 本发明公开一种基于编程语言对文件进行压缩的方法和电子设备，其中，方法包括：获取目标文件，并将目标文件的格式转化为Optimized Row Columnar格式；通过压缩算法对格式为Optimized Row Columnar格式的目标文件进行压缩，得到压缩文件。通过本发明提供的方法，能够先将目标文件转化为指定格式的文件(指定格式为：Optimized Row Columnar)，然后通过压缩算法对转化后的文件进行压缩，从而得到压缩后的文件。这样，便可以有效将目标的体积降低到最低，使得磁盘能够存储更多的文件。不仅如此，本发明与现有技术相比，化具有快速压缩和保护目标文件的特点，换句话说，本发明提供的方法不易损坏目标文件，同时还能够对目标文件快速压缩。
- 应用程序重复资源处理方法及装置-201910455694.0
- 宋强华 - 吉旗（成都）科技有限公司
- 2019-05-29 - 2019-09-13 - G06F16/174
- 本发明公开一种应用程序重复资源处理方法及装置，通过读取应用程序包含的资源文件，获取资源文件的文件路径名和资源文件的内容摘要标识；比对资源文件的内容摘要标识，当存在内容摘要标识相同的重复资源文件时，记录重复资源文件的文件路径名和内容摘要标识，并对重复资源文件进行删除，保留重复资源文件中的一份，再将已删除的重复资源文件的资源标识替换为保留下来的重复资源文件的资源标识；避免了相同内容的资源文件以不同路径名打包到应用程序中，导致应用程序占用空间过大的问题，能够在保证应用程序功能完备的同时，减小应用程序的大小；同时，也可有效避免后续修改时，由于存在多个相同资源文件，导致修改不完整的问题。
- 一种键值存储系统中文件压实的方法和装置-201510466697.6
- 陈世敏;朱良昌;张军 - 华为技术有限公司;中国科学院计算技术研究所
- 2015-07-31 - 2019-09-13 - G06F16/174
- 本发明实施例公开了一种键值存储系统中文件压实的方法和装置，涉及数据处理技术领域，用以减少执行压实操作时所需要占用的I/O带宽和内存资源，从而使得在执行压实操作的过程中，不影响执行其他操作的速率，以提升用户体验。本发明实施例提供的方法包括：根据待压实SSTable对应的Delete Log，对待压实SSTable进行压实，生成新的SSTable；其中，该Delete Log中记录有待压实SSTable中保存的键值存储KV‑Store系统中的非最新Value所对应的Key，该新的SSTable中不包含该Delete Log中的Key对应的Key‑Value对；删除待压实SSTable。
- 一种数据处理方法、备份服务器及存储系统-201510468057.9
- 吴晨涛;黄洵松;薛常亮;王元钢 - 华为技术有限公司;上海交通大学
- 2015-07-31 - 2019-09-13 - G06F16/174
- 本发明公开了一种数据处理方法、备份服务器及存储系统，用于解决因指纹比对消耗大量I/O资源导致数据存储的效率较低的问题。该数据处理方法包括：根据指纹索引表中的索引指纹以及待存储数据块的指纹确定第一指纹集合；根据所述第一索引指纹获得第一指纹表中包含有与所述待存储数据块的指纹相同的指纹的第一概率，并根据所述第二索引指纹获得所述第二指纹表中包含有与所述待存储数据块的指纹相同的指纹的第二概率；根据所述第一概率和第二概率确定第二指纹集合；获得所述第一索引指纹所代表的多个指纹与所述待存储数据块的指纹的匹配结果。
- 一种Chord路由表压缩方法及优化文件查找方法-201610510697.6
- 徐小龙;胡楠;涂群 - 南京邮电大学
- 2016-06-30 - 2019-09-10 - G06F16/174
- 本发明涉及一种Chord路由表压缩方法，针对Chord环中各个节点所维护的路由表，按所设计方法进行压缩，减小了各个节点维护路由表的空间代价，缩短了文件定位的时间，进而提高了整个Chord环中各个节点存储空间的使用效率和时间效率。本发明还涉及一种基于Chord路由表压缩方法的优化文件查找方法，基于上述所设计Chord路由表压缩方法所获得各节点的压缩路由表，引入二分搜索算法，能够明显减少文件定位过程中指纹对比次数，且使得文件定位过程中的指纹对比次数变得更加稳定，波动幅度较小，进一步有效提高了无中心云存储系统中文件实体实现高效定位的工作效率。
- 压缩和重复数据删除分层驱动-201480011389.8
- P·V·巴盖尔;S·托马尔 - 甲骨文国际公司
- 2014-01-02 - 2019-09-10 - G06F16/174
- 提供了用于居间文件系统驱动的方法、装置和系统，其在现有基本文件系统之上提供逻辑文件系统。一种这样的居间文件系统驱动是压缩和重复数据删除分层驱动(“COLD驱动”)。文件系统操作通过COLD驱动从操作系统被截获，其中COLD驱动是作为在现有基本文件系统之上操作的上层操作系统驱动提供的。通过经由各种模块处理文件数据，现有的基本文件系统可以被扩展为具有压缩、重复数据删除、加索引及其它功能的逻辑文件系统。COLD驱动可以在无需对现有基本文件系统结构或基本文件系统驱动进行修改的情况下实现。因此，服务器部署可以利用由COLD驱动提供的附加文件系统功能，而无需迁移到另一文件系统。
- 手机系统运行状态下动态切换lz4压缩算法类型的方法-201910494546.X
- 陈新 - 四川长虹电器股份有限公司
- 2019-06-06 - 2019-09-06 - G06F16/174
- 本发明公开了手机系统运行状态下动态切换lz4压缩算法类型的方法，步骤如下：在Android平台上需要对文件进行压缩时，计算当前cpu的占用率；获取了当前空闲RAM的大小；根据当前空闲RAM的大小动态设置压缩过程中块的大小；根据当前cpu的占用率动态选择lz4压缩算法的类型：若当前cpu占用率高于既定阈值，选择lz4普通压缩算法，否则，选择lz4高压缩率算法。通过本发明的方法，能在Android系统或应用对文件进行压缩时，高效利用CPU资源，合理使用内存，节约用户存储空间，提高Android系统运行流畅度。
- FPGA配置文件的压缩方法和装置-201410635537.5
- 何轲 - 京微雅格（北京）科技有限公司
- 2014-11-05 - 2019-09-06 - G06F16/174
- 本发明涉及一种FPGA配置文件的压缩方法和装置，所述方法包括：接收处理器发送的压缩指令；对进行RTL编码、综合、布局布线时FPGA芯片的第一配置文件进行分割，生成多个子文件；当所述多个子文件中存在相同子文件时，获取所述相同子文件的相同值以及所述相同值的长度，并添加标识符，所述相同值、长度和标识符构成查找表；删除所述第一配置文件中的相同子文件，将所述查找表和单独子文件构成第二配置文件单独子文件。
- 一种数据存储方法及装置-201910248097.0
- 曾涛;周洪飞;岳增书 - 腾讯科技（深圳）有限公司
- 2019-03-29 - 2019-09-03 - G06F16/174
- 本发明公开了一种数据存储方法及装置，所述方法包括：确定待存储数据的数据类型；根据所述数据类型确定所述待存储数据对应的数据压缩格式；基于所述对应的数据压缩格式对所述待存储数据进行压缩；在压缩过程中，基于预设分割条件从所述待存储数据中分割出已压缩的数据，得到压缩数据；将所述压缩数据存储到目标数据库。利用本发明实施例通过的技术方案可以提高数据压缩率，实现数据库的扩容，且可以实现入库前的数据压缩处理，减轻入库后的数据处理负担，占用更少的计算和存储资源。
- 冗余文件清理方法、装置和系统-201410300252.6
- 陈成 - 阿里巴巴集团控股有限公司
- 2014-06-26 - 2019-08-20 - G06F16/174
- 本发明公开了一种冗余文件清理方法、装置和系统。其中，该冗余文件清理方法包括：获取级联样式表文件；判断级联样式表文件是否满足预设冗余匹配条件；获取不满足预设冗余匹配条件的级联样式表文件，并将不满足预设冗余匹配条件的级联样式表文件作为冗余文件；以及删除冗余文件中的冗余代码。通过本发明，解决了相关技术中静态分析级联样式表里的规则导致分析不全面的问题。
- 一种APP资源管理方法及移动终端-201510658517.4
- 谢凡 - 上海斐讯数据通信技术有限公司
- 2015-10-12 - 2019-08-16 - G06F16/174
- 本发明公开了一种APP资源管理方法，包括：步骤1当APP启动时，检测私有目录中是否存在资源文件；步骤2若是，解析并显示所述资源文件；否则，拷贝系统目录中的第一资源文件到APP的私有目录中作为资源文件，解析并显示所述资源文件。本发明为了解决重复性的繁琐工作，将资源分离出APK，不需要把资源编译打包进APK文件中，从而针对不同终端项目可以共用同一个APK，不同手机终端项目所需的不同资源只需更换APK之外的资源文件即可。这样不同手机终端项目只需要维护一个APK文件，大大减少了工作的重复性和繁琐性。
- 基于上下文感知的重复数据删除的方法和装置-201380078408.4
- 阿里尔·库利克;吉尔·赛森 - 华为技术有限公司
- 2013-12-23 - 2019-08-16 - G06F16/174
- 本发明提供一种基于上下文感知的重复数据删除的装置和方法，所述方法包括以下步骤：通过将已写入数据的至少一个元数据加载到元数据存储器缓存(40)中以及将所述待写入数据分成数据片，分配(S1)重复数据删除模块；通过扫描所述元数据存储器缓存(40)中的所述已缓存元数据，计算(S2)每个数据分段中所述待写入数据和所述已写入数据的所述数据片的数目，所述片的数目表示所述数据分段的得分；以及调用(S3)数据分段选择进程，从而基于所述数据分段的所述得分提供数据分段集以对所述待写入数据和所述已写入数据进行重复数据删除。
- 一种基于工业过程的大数据压缩方法-201610785231.7
- 徐泉;刘文庆;张鹏;冉振莉;王良勇;吴志伟;许美蓉;崔东亮 - 东北大学
- 2016-08-31 - 2019-08-06 - G06F16/174
- 本发明提供一种基于工业过程的大数据压缩方法，涉及工业大数据分析技术领域。本发明通过对采集的生产数据按数据块和采集数据项进行压缩，根据采集数据项的类别，对浮点型、布尔型和字符型的采集数据分别进行处理，判定浮点型数值波动范围和比较布尔型、字符型相邻数据的变化来决定需要压缩的保存的数据。本发明既能有效改善工业过程中因时间的增加后采集数据项的数值发生偏移导致压缩结果偏差过大的问题，又能减少压缩后的采集数据项所占空间的大小，提高压缩效率，使工业数据库系统快速、有效地管理数据。
- 数据去重方法及装置-201710929827.4
- 刘凯 - 北京国双科技有限公司
- 2017-09-30 - 2019-07-30 - G06F16/174
- 本发明公开了一种数据去重方法及装置。其中，该方法包括：根据预设排序条件，对第一文件和第二文件中的多条数据分别进行排序，其中，第一文件和第二文件中设置有对应的指针，指针用于指示文件中每条数据所在行的排序位；根据排序结果，判断第一字符串数据与第二字符串数据是否相同；若判断出第一字符串数据与第二字符串数据相同，记录相同的字符串数据在对应文件中的位置信息；根据记录的位置信息，对第一文件和第二文件中相同的字符串数据进行去重处理。本发明解决了相关技术中对于数据量较大的文件，在匹配重复数据时，效率较低的技术问题。
- 重复数据删除过程中的数据处理方法和系统-201811221893.7
- 王贤达;马立珂;王子骏 - 广州鼎甲计算机科技有限公司
- 2018-10-19 - 2019-07-26 - G06F16/174
- 本发明涉及一种重复数据删除过程中的数据处理方法和系统、计算机设备、计算机存储介质。上述方法包括：从备份数据中提取第一数据量的文件数据，检测文件数据是否符合预设的分块条件；若文件数据不符合分块条件，从备份数据中提取第二数据量的文件数据，将该次提取的文件数据叠加至该次之前提取的文件数据，得到叠加数据；若叠加数据不符合分块条件且叠加数据的数据量小于第三数据量，返回执行从所述备份数据中提取第二数据量的文件数据，将该次提取的文件数据叠加至该次之前提取的文件数据，得到叠加数据的过程；若叠加数据符合预设的分块条件或者叠加数据的数据量大于或等于第三数据量，则将当前的叠加数据确定为重删数据块。
- 一种实时工业过程大数据压缩存储系统及方法-201610702102.7
- 徐泉;刘文庆;张鹏;冉振莉;王良勇;许美容;崔东亮 - 东北大学
- 2016-08-22 - 2019-07-23 - G06F16/174
- 本发明提供一种实时工业过程大数据压缩存储系统及方法，涉及大数据分析技术领域。包括数据采集模块、日志文件存储模块、内存缓存模块、数据压缩模块、非关系型数据库和渲染器，利用数据采集模块采集实时工业过程数据，并同步发送到内存缓存模块和日志文件存储模块，对内存缓存模块中的数据进行压缩，将压缩后的数据存储到非关系型数据库中。本发明能有效解决实时工业过程大数据的存储问题，对实时工业过程大数据最大化压缩，并采用非关系型数据库进行存储，既有效地解决对实时工业过程数据的存储，又能为企业节省存储实时工业过程大数据产生的巨额成本，并可以快速响应数据的在线查询、计算等。
- 分布式重复数据删除的方法及储存系统-201710619119.0
- 陈文贤;谢文杰 - 先智云端数据股份有限公司
- 2017-07-26 - 2019-07-16 - G06F16/174
- 本申请公开了一种分布式重复数据删除储存系统及其分布式重复数据删除方法，可应用于物联网设备的数据中心。该系统包含数个储存单元，每一储存单元包含：数个待储存位置；控制单元，用以控制储存单元的运作；及分布式重复数据删除模块，用以提供或更新该确定性函数到该控制单元与边缘部件，及于控制单元和/或边缘部件中执行该方法的每一步骤。本申请提出的方法对重复数据删除不再单由储存系统(控制单元)执行，而是整个过程可以通过储存系统和与其相连接的边缘部件来实现。储存系统的负载可以因此减少。
- 无配置文件压缩方法、压缩装置、压缩终端及存储介质-201810585564.4
- 张克明 - 平安普惠企业管理有限公司
- 2018-06-06 - 2019-07-16 - G06F16/174
- 本发明公开了一种无配置文件压缩方法、压缩装置、压缩终端及计算机可读存储介质，该无配置文件压缩方法包括：接收并解析第一资源，以提取第一资源中的第一资源依赖，并基于第一资源依赖生成第一资源树；接收并解析第二资源，以提取第二资源中的第二资源依赖，并基于第二资源依赖生成第二资源树；分别对第一资源树和第二资源树进行压缩打包，以获得第一子压缩包和第二子压缩包，并将第一子压缩包和第二子压缩包合并成目标压缩包。本发明解决了项目文件压缩过程中需要对不同项目数据进行参数调试，导致文件压缩过程繁琐冗余，影响开发效率的的技术问题，简化了文件压缩流程，提高了文件压缩效率，加快项目开发进度，提升了项目开发效率。
- 专利分类
