“符去重”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果485220个，建议您升级VIP下载更多相关专利

[发明专利]统一资源定位符去重方法及装置-CN201410100765.2有效
发明人：何双宁 -专利权人：腾讯科技（深圳）有限公司
申请日： 2014-03-18 - 公布日： 2019-08-13 - 主分类号： G06F16/955 文献下载
摘要：本发明提出一种统一资源定位符去重方法及装置，其统一资源定位符去重方法包括：根据统一资源定位符的结构预设去重规则库；从网站访问数据中获取要去重的统一资源定位符数据；根据统一资源定位符的结构和分段参数，将所述要去重的统一资源定位符与所述去重规则库中的去重规则进行匹配；以及将匹配出的与相同去重规则对应的统一资源定位符进行过滤，并对应每个去重规则保留一个统一资源定位符。通过本发明实施例的方法及装置，可以通过去重规则对海量URL数据进行过滤去重，避免在URL安全漏洞检测时，安全漏洞扫描器重复的扫描同一个CGI，从而提高安全漏洞的检测效率。
统一资源定位符去重方法装置

[发明专利]数据去重参数计算-CN202110417275.5在审
发明人： M·凡尼南 -专利权人：慧与发展有限责任合伙企业
申请日： 2021-04-19 - 公布日： 2022-03-29 - 主分类号： G06F3/06 文献下载
摘要：本公开涉及数据去重参数计算。在一些示例中，一种系统计算添加到已消除了重复数据值的去重数据存储装置的对应数据值指示符以及从所述去重数据存储装置中移除的对应数据值指示符的相应值，其中，所述数据值指示符中的每个相应数据值指示符表示所述去重数据存储装置中存在唯一数据值所述系统基于相应值更新估计器，以反映将第一数据值指示符添加到所述去重数据存储装置以及从所述去重数据存储装置中移除第二数据值指示符。所述系统使用更新的估计器计算与所述去重数据存储装置处的数据去重相关的参数。
数据参数计算

[发明专利]一种基于理科试题库的试题去重方法及装置、用户设备-CN201710065948.9在审
发明人：涂继宏 -专利权人：广东小天才科技有限公司
申请日： 2017-02-06 - 公布日： 2017-06-09 - 主分类号： G06F17/30 文献下载
摘要：本发明实施例公开了一种基于理科试题库的试题去重方法及装置、用户设备，该方法包括接收携带有试题内容的试题去重指令；响应所述试题去重指令，从理科试题库包括的所有试题中，搜索与所述试题内容的相似度大于预设相似度阈值的多个目标试题；判断所述试题内容的试题关键字符中是否存在与预设关键字符匹配的第一字符，若存在，针对搜索到的每个所述目标试题，依次提取所述目标试题中的第二字符；比较所述第一字符和所述第二字符是否相同，若相同，则对所述多个目标试题执行试题去重操作本发明实施例可以提高重复试题的识别率，同时，可以提高去除重题的精度。
一种基于理科试题库试题方法装置用户设备

[发明专利]一种统一资源定位符的去重方法、装置及电子设备-CN201810759030.9在审
发明人：余成章;陈雅芳;王意林;李攀 -专利权人：阿里巴巴集团控股有限公司
申请日： 2018-07-11 - 公布日： 2020-01-21 - 主分类号： G06F16/35 文献下载
摘要：本申请公开了一种统一资源定位符的去重方法、装置及电子设备。该方法包括：获取统一资源定位符URL集；基于URL的结构对所述URL集中的URL进行聚类处理，获得至少一个URL簇；确定所述至少一个URL簇中的目标URL簇，所述目标URL簇为URL数量满足预定阈值的URL簇；基于所述目标URL簇的URL共性结构，确定所述目标URL簇对应的去重URL，所述去重URL用于表示所述目标URL簇中的URL。本申请通过对URL集中的URL进行聚类处理，以确定URL数量满足预定阈值的URL簇，并基于URL簇的URL共性结构确定其去重URL，进而可基于其去重URL对本URL集或后续的URL集进行去重处理。与现有技术中，人为设定去重规则对应的去重URL的方案相比，能够智能化地确定去重URL，具有去重效率高、精度高的优点。
去重目标URL 统一资源定位符聚类处理装置及电子设备结构确定智能化申请

[发明专利]在分布式存储中的移动窗口数据去重-CN202180028192.5在审
发明人：巴甫洛·帕丁克;帕万·埃达拉;李必刚 -专利权人：谷歌有限责任公司
申请日： 2021-08-17 - 公布日： 2022-11-22 - 主分类号： G06F3/06 文献下载
摘要：本公开描述了提供主要在线去重的服务。流式应用程序接口(API)可以允许将记录流式传输到具有高通过量和低延迟的存储系统中。作为此过程的一部分，API允许用户添加标识符作为用于数据去重的字段。去重服务在存储器中保留标识符的移动窗口，并通过快速确定数据是否重复来执行在线去重。仅在存储器中保留去重键降低了运行服务的成本。此外，移动窗口方法的实时特性允许将去重信息与数据一起存储，并在读取时立即访问它。在这方面，支持写后读的一致性，并且降低成本。
分布式存储中的移动窗口数据

[发明专利]网页去重方法、装置及设备-CN201910181072.3有效
发明人：戴松;纪超 -专利权人：创新先进技术有限公司
申请日： 2019-03-11 - 公布日： 2023-07-14 - 主分类号： G06F16/955 文献下载
摘要：本说明书实施例公开了一种网页去重方法、装置及设备。方案包括：通过将已采集网页的统一资源定位符和信息指纹相结合，来预先泛化出去重规则，其中去重规则用于表征相似网页的URL的结构规则，然后在采集目标网页前，可利用去重规则对目标网页的URL进行去重。
网页方法装置设备

[发明专利]用于修复去重存储装置中的映像的系统和方法-CN201680089144.6有效
发明人：刘彬;张先波;程帅;单诚;姜文峰 -专利权人：华睿泰科技有限责任公司
申请日： 2016-09-29 - 公布日： 2023-03-31 - 主分类号： G06F11/14 文献下载
摘要：本公开提供了一种用于修复去重存储装置中的映像的所公开的计算机实现的方法，所述方法可以包括：(1)通过对数据片段执行算法以生成所述数据片段的数字标识符并通过确定所述数字标识符与所述数据片段的先前存储的数字标识符不匹配来检测存储在去重存储装置内的所述数据片段损坏，(2)在备份操作期间，校验正在备份的映像的数据片段的数字指纹是否与在损坏之前获取的并已经存储在所述去重存储装置内的所述损坏的数据片段的数字指纹匹配，以及(3)将所述数据片段从正在备份的所述映像附加到已经包含所述损坏的数据片段的容器
用于修复存储装置中的映像系统方法

[发明专利]统一资源定位符URL的去重方法-CN201911209886.X在审
发明人：何进刚;陈宏伟;何建锋;高阳春;冯国礼 -专利权人：西安交大捷普网络科技有限公司
申请日： 2019-12-02 - 公布日： 2020-05-12 - 主分类号： G06F16/951 文献下载
摘要：本发明公开一种统一资源定位符URL的去重方法，将第一待去重URL数据加入去重任务队列，执行预处理，分析参数并计数，保存为第二待去重URL数据；判断第二待去重URL数据，参数是否超过预设限定，若超过进行强制去重，若未超过则正常处理参数；处理URL的路径，判断当前URL特征是否已存在，若已存在则回到S2，若不存在则保存特征并将去重结果输出。第一次循环只进行预处理，分析当前的参数列表，并计数；第二次循环，根据参数列表的计数值判断当前参数是否需要强制去重，有利于提高爬虫抓取以及后续的漏洞扫描的效率。
统一资源定位 url 方法

[发明专利]一种网络爬虫去重特征值的提取方法和装置-CN201410231745.9有效
发明人：黎小为;周东 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2014-05-28 - 公布日： 2018-02-09 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种网络爬虫去重特征值的提取方法，包括步骤一，根据目标网站的统一资源定位符URL域名和URL种子特征生成正则表达式；步骤二，从目标网站的URL地址中捕获与所述正则表达式匹配的字符串；步骤三，对所述字符串进行预定的格式转换，得到所述URL地址的去重特征值。本发明还提供一种网络爬虫去重特征值的提取装置。本发明适用于对不同URL链接指向相同页面的情况实现去重。
一种网络爬虫特征值提取方法装置

[发明专利]统一资源定位符处理方法、装置、服务器及可读存储介质-CN201811014600.8有效
发明人：刘宇江;张园超 -专利权人：创新先进技术有限公司
申请日： 2018-08-31 - 公布日： 2022-05-31 - 主分类号： G06F16/955 文献下载
摘要：本说明书实施例提供了一种统一资源定位符处理方法，先基于同请求方法、同域名以及同深度的各目标URL中，对应于同一段级别的不同字段内容的数量，识别出相应目标URL中路径部分的目标动态段，然后再基于所识别出的目标动态段，对待处理的URL数据进行去重处理，有利于避免路径部分所包含的目标动态段对后续去重处理的影响，从而提高URL去重的准确性。
统一资源定位处理方法装置服务器可读存储介质

[发明专利]海量网络数据处理系统及其的构建方法、装置-CN202210700372.X在审
发明人：孙羽菲;张玉志;李东闻;钟震宇;王昊天;申峻宇 -专利权人：南开大学
申请日： 2022-06-20 - 公布日： 2022-11-04 - 主分类号： G06F16/335 文献下载
摘要：数据下载模块基于配置后的下载方式及下载任务的调度进行数据处理；文本提取模块以网络文本的一行为单位进行预设语言类型的文本提取；文本过滤模块基于过滤策略对数据进行过滤，所述过滤策略根据首位标点及末尾标点、控制符、出现预设敏感词汇的占比、文本总长度中的至少一种生成；去重模块基于去重策略对数据进行去重，所述去重策略采用先局部去重，再整体二次去重的方式；数据筛选模块基于筛选策略进行筛选，所述筛选策略根据文本困惑度得到
海量网络数据处理系统及其构建方法装置

[发明专利]一种统一资源定位符语义去重方法、装置、设备和介质-CN201810466887.1有效
发明人：张振海;罗剑江;胡泽柱 -专利权人：顺丰科技有限公司
申请日： 2018-05-16 - 公布日： 2022-10-11 - 主分类号： G06F16/955 文献下载
摘要：本申请公开了一种统一资源定位符语义去重方法、装置、设备和介质。该方法包括：确定每个统一资源定位符URL的哈希值；基于每个URL的哈希值，划分若干个URL集合；其中，每个URL集合中的任意两个URL相似；构造每个URL集合的生成树；根据预先设置的分支数量阈值，对所述每个URL集合的生成树进行剪枝，得到所述每个URL集合剪枝后的生成树；遍历所述每个URL集合剪枝后的生成树，得到去重后的URL集合。
一种统一资源定位语义方法装置设备介质

[发明专利]数据去重方法及装置-CN201710929827.4在审
发明人：刘凯 -专利权人：北京国双科技有限公司
申请日： 2017-09-30 - 公布日： 2019-07-30 - 主分类号： G06F16/174 文献下载
摘要：本发明公开了一种数据去重方法及装置。其中，该方法包括：根据预设排序条件，对第一文件和第二文件中的多条数据分别进行排序，其中，第一文件和第二文件中设置有对应的指针，指针用于指示文件中每条数据所在行的排序位；根据排序结果，判断第一字符串数据与第二字符串数据是否相同；若判断出第一字符串数据与第二字符串数据相同，记录相同的字符串数据在对应文件中的位置信息；根据记录的位置信息，对第一文件和第二文件中相同的字符串数据进行去重处理。
字符串数据去重排序指针对应文件排序结果排序条件指示文件重复数据数据量记录预设匹配

[发明专利]存储系统中的去重方法和系统以及计算机可读介质-CN201410202882.X有效
发明人： D·塔尔;E·高尔顿 -专利权人：卡米纳利欧技术有限公司
申请日： 2014-05-14 - 公布日： 2019-11-22 - 主分类号： G06F3/06 文献下载
摘要：存储系统中的去重方法和系统以及计算机可读介质。IO处理器接收包括与LBA关联的写入数据的写入命令。IO处理器根据写入数据所关联的LBA保留去重ID，在每个LBA的范围内，每个去重ID是唯一的。在去重数据库不包括与该哈希值关联的条目的情况下，IO处理器：提供作为LBA和去重ID的组合的援引键；向去重数据库添加唯一地与该哈希值关联并且援引该援引键的条目；以及向虚拟地址数据库添加条目，该条目包括：该援引键；援引指示符，其指示是否存在与当前条目关联的条目；以及指针，其指向存储写入数据的位置。
存储系统中的

[发明专利]一种网页爬虫系统及方法-CN201010189998.6无效
发明人：肖小剑;李天武 -专利权人：北京启明星辰信息技术股份有限公司;北京启明星辰信息安全技术有限公司
申请日： 2010-05-25 - 公布日： 2011-11-30 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种网页爬虫系统及方法，解决现有技术中不能有效提取动态URL的技术缺陷，其中该方法包括：设置一第一去重队列；接收一目标页面；采用静态爬虫对该目标页面进行爬行；将该目标页面中该静态爬虫分析不了的统一资源定位符(URL)作为动态URL；将该动态URL提交到该第一去重队列；采用动态爬虫继续对该第一去重队列中的动态URL进行爬行。
一种网页爬虫系统方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条