“去重”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果446764个，建议您升级VIP下载更多相关专利

[发明专利]指纹碰撞规避、去重及恢复方法、存储介质和去重系统-CN202010984840.1在审
发明人：胡燏翀;鲍瑞祺;冯丹;陈优 -专利权人：华中科技大学
申请日： 2020-09-17 - 公布日： 2021-01-01 - 主分类号： G06F16/215 文献下载
摘要：本发明公开了一种指纹碰撞规避、去重及恢复方法、存储介质和去重系统，属于计算机存储领域。本发明提出的广域网数据去重方法，根据现有的网络状况及硬件设备，采用数据去重技术对数据流进行去重处理，以非常小的代价消除重复数据，以确保冗余数据不会重复发送，该方法有效减少了不必要的带宽浪费，达到提高传输速率和带宽利用的效果MD5层和SHA‑256层；对每个数据块计算其MD5值；若出现相同的MD5值，再计算两个数据块的SHA‑256值；进而通过SHA‑256算法计算出的数据块指纹来判定数据是否重复，进一步增加了广域网数据去重系统的可靠性
指纹碰撞规避恢复方法存储介质系统

[发明专利]一种基于爬虫网络框架的数据采集储存系统及其方法-CN202111489435.3在审
发明人：周毅;李威;王鸥;宁亮;何金;程蕾;柳璐;孙海波;张磊;张东芳 -专利权人：国网辽宁省电力有限公司信息通信分公司;国家电网有限公司
申请日： 2021-12-08 - 公布日： 2022-03-25 - 主分类号： G06F16/951 文献下载
摘要：存储管道，调度器、下载器、解析器分别与爬虫引擎信号连接；通道包括项目管道、业务逻辑模块；业务逻辑模块在项目管道中分拣结构化数据和非结构数据，并将不同类别的数据存储至不用的存储模块中；调度器与下载器中间设置有去重模块，去重模块采用MD5算法对URL去重。现有技术去重模块设置的位置一般在存储通道位置，其去重时间长，爬取网页速度慢，本发明设置在调度器与下载器数据传递之间，节省了去重时间；另外，本发明存储通道具备MongoDB集群技术，结构化数据和非结构化数据最后统一整合至
一种基于爬虫网络框架数据采集储存系统及其方法

[发明专利]海量网络数据处理系统及其的构建方法、装置-CN202210700372.X在审
发明人：孙羽菲;张玉志;李东闻;钟震宇;王昊天;申峻宇 -专利权人：南开大学
申请日： 2022-06-20 - 公布日： 2022-11-04 - 主分类号： G06F16/335 文献下载
摘要：；文本提取模块以网络文本的一行为单位进行预设语言类型的文本提取；文本过滤模块基于过滤策略对数据进行过滤，所述过滤策略根据首位标点及末尾标点、控制符、出现预设敏感词汇的占比、文本总长度中的至少一种生成；去重模块基于去重策略对数据进行去重，所述去重策略采用先局部去重，再整体二次去重的方式；数据筛选模块基于筛选策略进行筛选，所述筛选策略根据文本困惑度得到；文本格式处理模块对文本数据格式进行配置。
海量网络数据处理系统及其构建方法装置

[发明专利]一种数据写入方法、数据读取方法及装置-CN202310028901.0在审
发明人：李舒 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-01-09 - 公布日： 2023-06-09 - 主分类号： G06F3/06 文献下载
摘要：数据读取方法及装置，所述方法包括接收待写入数据，并根据所述待写入数据包含的原始数据和数据校验码生成第二数据；将所述数据校验码或所述待写入数据作为第一数据，并根据所述第一数据与所述第二数据生成所述待写入数据对应的目标去重校验码；在校验码库中查询所述目标去重校验码，所述校验码库用于记录已写入数据对应的去重校验码；在查询结果表明所述校验码库中存在与所述目标去重校验码相同的历史去重校验码的情况下，建立所述待写入数据的逻辑地址与所述历史去重校验码对应的历史写入数据的物理地址之间的映射关系
一种数据写入方法读取装置

[发明专利]一种不平衡校正去重刀具的对刀系统及其使用方法-CN201910087417.9有效
发明人：张世民;汤正良;孙守清;彭立伟;刘凤生;陈婷婷;李文峰;郑国振 -专利权人：孝感松林智能计测器有限公司
申请日： 2019-01-29 - 公布日： 2023-07-14 - 主分类号： B23Q17/00 文献下载
摘要：一种不平衡校正去重刀具的对刀系统，包括去重校正装置、去重切削刀具与刀检传感单元，刀检传感单元包括传感顶板、传感底板与力传感器，力传感器包括依次连接的受力端、变形部与支座端，受力端与传感顶板的底面的中部固定连接，支座端与传感底板的顶面的中部固定连接，变形部悬空在传感顶板、传感底板之间，变形部上设置的力应变片与力信号线相连接，传感顶板、传感底板上下正对设置，传感顶板的顶面与去重校正装置的底面固定连接，去重校正装置的侧面与去重切削刀具的内端相连接
一种不平衡校正刀具系统及其使用方法

[发明专利]数据库唯一性约束处理方法、装置、设备及介质-CN202211388507.X有效
发明人：李求实;林泽昕 -专利权人：广州睿帆科技有限公司
申请日： 2022-11-08 - 公布日： 2023-03-21 - 主分类号： G06F16/22 文献下载
摘要：在该方法中，根据待插入数据表中的唯一键，对待插入数据表进行表内去重。进而对于去重后的待插入数据表，依次根据预设数量个不同的预设第一哈希函数、预设布隆过滤器数组和已存储数据表的稀疏索引，确定去重后的待插入数据表中的目标待插入数据，再将目标待插入数据插入已存储数据表中。本方案通过对待插入数据表进行表内去重，再根据预设布隆过滤器数组和稀疏索引再次去重后将目标待插入数据插入已存储数据表中，临时数据较少，有效减小了内存占用率，同时也提高了去重效率。
数据库唯一约束处理方法装置设备介质

[发明专利]日志去重方法和系统、内容分发网络系统-CN201711487741.7有效
发明人：高顺路 -专利权人：阿里巴巴集团控股有限公司
申请日： 2017-12-29 - 公布日： 2023-01-31 - 主分类号： G06F16/174 文献下载
摘要：本申请提供了一种日志去重方法和系统、内容分发网络系统，其中日志去重方法，包括：获取日志数据集；在所述日志数据集的日志数据集标识中，确定出日志数据集名称和序号；其中，所述序号用于区分具有相同日志数据集名称的不同日志数据集本申请不再对日志数据执行逐条去重操作，而是以日志数据集进行日志去重操作。日志数据集最多可以包括4096条日志数据，所以可以一次性对日志数据集中多条日志数据执行去重操作。这样可以降低对日志收集设备的CPU资源消耗，并提高日志去重操作效率。
日志方法系统内容分发网络

[实用新型]一种不平衡校正去重刀具的对刀系统-CN201920155992.3有效
发明人：张世民;汤正良;孙守清;彭立伟;刘凤生;陈婷婷;李文峰;郑国振 -专利权人：孝感松林国际计测器有限公司
申请日： 2019-01-29 - 公布日： 2019-10-11 - 主分类号： B23Q17/00 文献下载
摘要：一种不平衡校正去重刀具的对刀系统，包括去重校正装置、去重切削刀具与刀检传感单元，刀检传感单元包括传感顶板、传感底板与力传感器，力传感器包括依次连接的受力端、变形部与支座端，受力端与传感顶板的底面的中部固定连接，支座端与传感底板的顶面的中部固定连接，变形部悬空在传感顶板、传感底板之间，变形部上设置的力应变片与力信号线相连接，传感顶板、传感底板上下正对设置，传感顶板的顶面与去重校正装置的底面固定连接，去重校正装置的侧面与去重切削刀具的内端相连接
传感底板去重刀具不平衡校正校正装置变形部传感单元对刀系统力传感器去重切削受力端支座端依次连接正对设置信号线应变片底面顶面悬空监视侧面应用

[发明专利]重竹文化墙的加工工艺-CN201510534661.7有效
发明人：赵耀祥;赵林栋 -专利权人：广德竹之韵工艺品厂
申请日： 2015-08-25 - 公布日： 2017-08-22 - 主分类号： B27M3/00 文献下载
摘要：本发明公开了室外重竹文化墙的加工工艺将竹子开片，去青，去黄，将竹片热压；制香樟木颗粒；热压竹片干燥，浸胶，裁切，叠加放置三层竹片装模，相邻两层竹片之间撒香樟木颗粒、热压成型，制得重竹板；按设计尺寸锯切成条形重竹板坯，碳化、浸油、打磨抛光、雕刻，即得；室内重竹文化墙的加工工艺将竹子开片，去青，去黄，隔水蒸煮，热压片，得重竹板；锯切成条形重竹板坯，浸蜡、打磨抛光，雕刻，即得；该生产工艺操作简单，原料易得，生产的重竹文化墙具有密度大
文化加工工艺

[发明专利]一种用于车辆制动盘的平衡测试系统-CN202210019122.X有效
发明人：马恩泽;李华萍;杨新英;王春蕾;秦丽丽;仇积尧 -专利权人：烟台宏田汽车零部件股份有限公司
申请日： 2022-01-10 - 公布日： 2022-03-15 - 主分类号： G01M1/38 文献下载
摘要：本发明公开了一种用于车辆制动盘的平衡测试系统，包括平衡检测模块、去重校正模块和收集模块，平衡检测模块用于对通风制动盘进行平衡检测，去重校正模块用于对不平衡的通风制动盘以铣削的方式进行去重，收集模块用于回收通风制动盘铣削去重校正时产生的金属碎屑本发明通过收集模块能够收集通风式制动盘平衡检测时铣削去重过程中产生的金属碎屑，避免了通风式制动盘平衡检测时铣削去重产生的金属碎屑覆盖至平衡检测设备和待检测的通风式制动盘表面及风道内而影响被测通风式制动盘的去重精度
一种用于车辆制动平衡测试系统

[发明专利]一种大数据去重方法及装置-CN201811488881.0有效
发明人：郭冰;程广艺;罗天成;夏曙东 -专利权人：北京千方科技股份有限公司
申请日： 2018-12-06 - 公布日： 2021-02-02 - 主分类号： G06F16/215 文献下载
摘要：本发明公开了一种大数据去重方法及装置，该方法包括：接收待去重数据，待去重数据包括发生时间及数据字符串；根据发生时间及数据字符串，生成待去重数据对应的Redis键值对；将Redis键值对插入Redis服务器对中，根据Redis服务器对的返回结果，确定待去重数据是否为重复数据。本发明通过服务器集群进行大数据去重，将数据运算尽可能分散到集群环境中的不同节点上。且在去重时采用可高并发访问的键值对数据库Redis，从空间和时间的角度都确保了去重运算占用最小的系统资源。通过将待去重数据的发生时间扩展到多个临近时间，能够有效过滤掉时间接近的近似数据，去重准确性高、精度高，且通用性好，能够应用于各种数据具有时间连续性特点的大数据应用场景中。
一种数据方法装置

[发明专利]一种基于Device Mapper的存储系统去重优化方法-CN202211360138.3在审
发明人：王举利;张磊;杨经纬;陈相如;常利民 -专利权人：中电信数智科技有限公司
申请日： 2022-11-02 - 公布日： 2023-02-28 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了一种基于Device Mapper的存储系统去重优化方法，重删内核模块基于Device Mapper的数据接口target_type实现重要回调函数，基于重要回调函数实现去重优化，所述去重优化方法包括：步骤1、将数据块划分为4M大小；步骤2、数据块生成哈希值；步骤3、根据哈希索引和映射情况进行数据粒度进一步划分与检测，实现去重优化。
一种基于 device mapper 存储系统优化方法

[发明专利]文本去重方法和装置、电子设备及计算机可读存储介质-CN201911147667.3在审
发明人：于广泽 -专利权人：精硕科技(北京)股份有限公司
申请日： 2019-11-21 - 公布日： 2020-04-17 - 主分类号： G06F40/12 文献下载
摘要：本申请实施例提供的文本去重方法和装置、电子设备及计算机可读存储介质，涉及文本去重技术领域。在本申请实施例中，首先，对获取的各文本数据进行排序处理。然后，对相邻的文本集合进行相似度比较并进行去重处理。通过上述方法，可以提高文本去重的效率。
文本方法装置电子设备计算机可读存储介质

[发明专利]一种网络去重的方法和设备-CN201110164307.1有效
发明人：许用梁 -专利权人：华为技术有限公司
申请日： 2011-06-17 - 公布日： 2012-12-19 - 主分类号： H04L12/56 文献下载
摘要：本发明实施例公开了一种网络去重的方法和设备。所述方法包括：从入接口接收分组；根据所述分组的目的地址获取出接口；根据所述出接口对所述分组去重；将所述去重后的分组从所述入接口交换到所述出接口。采用本发明实施例提供的技术方案，可以解决现有技术无法实现网络设备内部和接口线卡的流量去重，网络设备的缓存利用率低的问题。
一种网络方法设备

[发明专利]基于MapDB的结构化数据去重方法、装置、设备及介质-CN202010351001.6在审
发明人：王超群;李建元;刘飞黄;于德军;王丰 -专利权人：银江股份有限公司
申请日： 2020-04-28 - 公布日： 2020-09-11 - 主分类号： G06F16/215 文献下载
摘要：本发明公开了一种基于MapDB的结构化数据去重方法，涉及数据处理技术领域，增加了数据去重的效率。该方法包括以下步骤：获取消息和所述消息的去重条件；根据去重条件生成Key值，遍历一级索引，若遍历到一级索引存储的记录，则根据所述Key值对应的消息与所述消息进行去重处理；否则，全局指针自增，将自增后的全局指针作为所述本发明还公开了一种基于MapDB的结构化数据去重装置、电子设备和计算机存储介质。
基于 mapdb 结构数据方法装置设备介质