“聚焦爬虫”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网_专利查询网

首页在售求购查询申请展会资讯专利榜企服商城升级VIP

立即登录免费注册

在售专利
求购专利
查询专利
新闻资讯
技术展会
招商加盟
专利榜

本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247 本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247 本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247

本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247 本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247 本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247

专利名称

专利名称
专利号码
专利分类
申请人
公布日期

农业化学；冶金建筑机械工程区域搜索

主分类

B 作业；运输

C 化学；冶金

D 纺织；造纸

E 固定建筑物

F 机械工程、照明、加热

专利下载VIP

公布日期

2023-10-24 公布专利

2023-10-20 公布专利

2023-10-17 公布专利

2023-10-13 公布专利

2023-10-10 公布专利

2023-10-03 公布专利

2023-09-29 公布专利

2023-09-26 公布专利

2023-09-22 公布专利

2023-09-19 公布专利

专利权人

国家电网公司

华为技术有限公司

中兴通讯股份有限公司

三星电子株式会社

中国石油化工股份有限公司

鸿海精密工业股份有限公司

松下电器产业株式会社

上海交通大学

钻瓜专利网为您找到相关结果62837个，建议您升级VIP下载更多相关专利

[发明专利]数据抓取系统、方法和装置-CN201710516470.7有效
发明人：马静飞 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2017-06-29 - 公布日： 2022-03-04 - 主分类号： G06F16/27 文献下载
摘要：该系统的一具体实施方式包括：爬虫客户端，用于向爬虫服务器发送数据抓取请求，接收爬虫服务器返回的包括待处理的配置文件的数据抓取文件，抓取列表页的统一资源定位符关联的列表页中所包含的超链接所链接的内容页的统一资源定位符，并向爬虫服务器发送内容页的统一资源定位符；爬虫服务器，用于接收爬虫客户端发送的数据抓取请求，向爬虫客户端发送包括待处理的配置文件的数据抓取文件，接收爬虫客户端返回的抓取到的内容页的统一资源定位符，并对抓取到的内容页的统一资源定位符进行存储
数据抓取系统方法装置

[发明专利]一种数据搜索方法及装置-CN201510406364.4有效
发明人：张俊伟 -专利权人：无锡天脉聚源传媒科技有限公司
申请日： 2015-07-10 - 公布日： 2019-03-26 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例公开了一种数据搜索方法及装置，用以根据待搜索的关键词的权重动态调整爬虫执行时间。所述方法包括：获取用户输入的搜索关键词；从预设的关键词库中提取出所述搜索关键词对应的关键词属性；根据提取出的所述关键词属性，获取满足预设执行条件的所有关键字，并将满足所述预设执行条件的关键字循环发送至爬虫任务执行队列；根据所述关键字分别对应的权重值，配置每个所述关键字对应的爬虫执行时间，并根据所述爬虫执行时间，生成对应的爬虫任务；执行对应的爬虫任务，获取爬虫结果；具有根据待搜索的关键词的权重动态调整爬虫执行时间的有益效果
一种数据搜索方法装置

[发明专利]基于浏览器内置爬虫系统的爬虫实现方法-CN201610755586.1有效
发明人：陆浩卿;牟杰 -专利权人：携程计算机技术（上海）有限公司
申请日： 2016-08-29 - 公布日： 2019-06-18 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了基于浏览器内置爬虫系统的爬虫实现方法：浏览器发送请求命令至外部web服务器通过根据请求命令；外部web服务器发送经加密的响应信息至浏览器；浏览器内置的爬虫系统对加密的响应信息进行处理，使得浏览器获取响应数据本发明通过在浏览器内设置爬虫系统，使得浏览器内核和web应用层关联起来，实现全方面控制web应用层逻辑。本发明能够通过爬虫系统任意修改web应用层逻辑，监控各种应用层以及非应用层的数据，也即具有强大的功能。同时，由于爬虫系统不直接工作在web应用层，而是工作在浏览器内核层，web应用层无法发现爬虫内核层的监控，因此本发明的爬虫系统具有良好的隐蔽性。
基于浏览器内置爬虫系统实现方法

[发明专利]网络爬虫抓取任务分配方法与装置及数据抓取方法与装置-CN201510227531.9有效
发明人：刘庆;张美德;殷贤君;邹启蒙 -专利权人：阿里巴巴集团控股有限公司
申请日： 2015-05-06 - 公布日： 2019-09-06 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例公开了一种网络爬虫抓取任务分配方法与装置及数据抓取方法与装置。所述网络爬虫数据抓取方法，保存抓取过的历史页面保存于历史抓取数据，当有抓取任务时，判断历史抓取数据中是否存在与抓取任务的URL簇对应的历史页面，如果存在且存在的历史页面可用，则对可用的历史页面直接提取第一目标页面数据同时，先定时检测所有网络爬虫的网络带宽使用率，计算各个网络爬虫的网络带宽使用率均值E(w)和方差D(w)并存储，然后根据E(w)和D(w)计算各个网络爬虫的可用性，对可用的网络爬虫，按可用性概率由大到小的顺序选择执行任务的网络爬虫，从而合理分配网络爬虫资源。
网络爬虫抓取任务分配方法装置数据

[发明专利]页面数据处理方法、装置、计算机设备及存储介质-CN202010937717.4有效
发明人：贾波涛 -专利权人：平安国际智慧城市科技股份有限公司
申请日： 2020-09-09 - 公布日： 2020-12-15 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例属于大数据领域，应用于智慧城市领域中，涉及一种页面数据处理方法，包括：当接收到终端发送的选取指令时，从ETL平台部署的数据处理算子中选取爬虫算子；根据所述终端的爬虫配置页面中触发的配置指令，获取爬虫配置信息；根据所述爬虫配置信息配置所述爬虫算子；通过爬虫应用运行配置完毕的爬虫算子，并指示所述爬虫应用将爬取到的页面数据存储在Redis中；将所述Redis中的所述页面数据添加到所述ETL平台的
页面数据处理方法装置计算机设备存储介质

[发明专利]一种草地生物多样性监测装置-CN202210319659.8有效
发明人：胡飞龙;马月;刘立;王蕾;臧明月;卢晓强 -专利权人：生态环境部南京环境科学研究所
申请日： 2022-03-29 - 公布日： 2023-06-23 - 主分类号： A01M29/22 文献下载
摘要：本申请提供有一种草地生物多样性监测装置，包括：支撑架、设置在所述支撑架顶部的监测装置以及套设在支撑架外壁的防爬虫组件，所述防爬虫组件包括：固定套设在支撑架外壁用于使爬虫进入内部的诱导部；活动套设在所述支撑架外壁且贴合在诱导部顶部的阻爬收集部，用于阻止爬虫向上攀爬；以及设置在支撑架上的供气驱动部。本技术方案通过在支撑架的外壁设置有防爬虫组件，爬虫沿着支撑架向上爬动会经过诱导座，叶轮在外界风力的作用下转动使得引风扇叶转动，进而外界的空气通过排气软管进入分流座并从排气通孔排出，使得爬虫无法通过挡座向上，同时部分爬虫经过进入口进入腔体内通过环形滤网上的杀虫剂颗粒杀灭。
一种草地生物多样性监测装置

[发明专利]一种基于分布式爬虫引擎的数据采集方法-CN202011591563.4有效
发明人：陈思恩 -专利权人：科技谷（厦门）信息技术有限公司
申请日： 2020-12-29 - 公布日： 2023-09-15 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种基于分布式爬虫引擎的数据采集方法，其包括以下步骤：S1、获取用户的任务创建请求并创建对应的数据采集任务；S2、构建分布式爬虫系统，对数据采集任务进行调度并触发任务执行，通过分布式爬虫系统分解数据采集任务，并分配给多个爬虫线程；S3、启动爬虫线程，分布式爬虫系统从队列资源获取URL，根据数据采集任务指定的目标网站爬取URL对应的页面，下载并获取页面数据；S4、对获取的页面数据进行整理清洗，生成与数据采集任务匹配的格式化数据集，并通过持久化处理后存储入数据库；本发明通过分布式部署爬虫集群的爬虫引擎，爬取目标网站的定向数据，提高了爬取效率及数据的精确度。
一种基于分布式爬虫引擎数据采集方法

[发明专利]一种反网络爬虫的蜜罐设计与实现方法-CN201811617670.2在审
发明人：仝兴舜;谢坚 -专利权人：深圳竹云科技有限公司
申请日： 2018-12-28 - 公布日： 2019-03-15 - 主分类号： H04L29/06 文献下载
摘要：本发明涉及一种反网络爬虫的蜜罐设计与实现方法，所述一种反网络爬虫的蜜罐设计与实现方法,基于隐藏字段的反爬虫方法,可以有效的阻止爬虫的非法访问，避免误伤普通的正常用户访问，可以有效的减轻服务器访问压力。
网络爬虫爬虫服务器访问误伤非法访问正常用户字段访问

[发明专利]一种基于RPA的爬虫方法-CN202211329585.2在审
发明人：李波;岳永胜 -专利权人：四川启睿克科技有限公司
申请日： 2022-10-27 - 公布日： 2023-02-03 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种基于RPA的爬虫方法，通过在RPA软件中组件化爬虫脚本，通过傻瓜式拖拽操作高效完成爬虫开发工作；借助RPA软件执行时模拟人为操作特点，规避大多数反爬虫手段；具有技术要求低、效率高、隐蔽性好等特点
一种基于 rpa 爬虫方法

[发明专利]一种基于PetriNet的分布式行为模拟爬虫技术-CN201610809919.4在审
发明人：吴贤城 -专利权人：吴贤城
申请日： 2016-09-08 - 公布日： 2018-03-16 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及网络爬虫领域，尤其设计一种通过Petri Net实现协同工作的分布式爬虫技术及其方法。本发明提出一种基于Petri Net的分布式行为模拟爬虫技术。这一技术包括两方面内容，一方面是采用基于用户行为模拟的爬虫技术，另一方面是采用Petri Net来协同分布式爬虫系统之间的工作。
一种基于 petrinet 分布式行为模拟爬虫技术

[发明专利]一种终止爬虫工具爬取的方法及装置-CN201811145418.6有效
发明人：张鑫 -专利权人：北京国双科技有限公司
申请日： 2018-09-29 - 公布日： 2023-09-05 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开了一种终止爬虫工具爬取的方法及装置，以解决在爬虫工具根据不同的爬取任务进行爬取时，爬虫工具爬取的数据不准确的问题。该方法包括：获得爬虫工具的爬取结果；判断所述爬取结果是否满足终止条件，所述终止条件能够根据爬取需求进行配置；若所述爬取结果满足所述终止条件，则控制所述爬虫工具结束爬取。
一种终止爬虫工具方法装置

[实用新型]一种宠物捕食皿-CN202122023931.1有效
发明人：张锋 -专利权人：嘉兴诺摩宠物用品有限公司
申请日： 2021-08-25 - 公布日： 2022-02-15 - 主分类号： A01K5/01 文献下载
摘要：本申请具有将皿体放置于宠物箱内，将爬虫放置于皿体内，皿体能够存放爬虫，降低爬虫在宠物箱内四处爬行的概率提升宠物养殖环境，攀爬柱的设置能够供爬虫爬行，以保持爬虫活性的效果。
一种宠物捕食

[发明专利]数据采集系统和方法-CN202010914439.0在审
发明人：张学颖;曹六一;杨飞 -专利权人：北大方正集团有限公司;北京北大方正电子有限公司
申请日： 2020-09-03 - 公布日： 2020-12-04 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例提供一种数据采集系统和方法，该系统包括：爬虫管理模块，采集集群模块和数据落地模块；所述爬虫管理模块中部署有多个爬虫线程，不同爬虫线程对应的数据采集方式不同；所述爬虫管理模块用于：基于调度机制，控制相应爬虫线程通过所述采集集群模块在网页中采集数据，并基于滤重机制对采集到的数据进行处理，得到有效数据；所述数据落地模块用于获取所述有效数据，并将所述有效数据按照预先确定的落地路径写入相应的内存中。该数据采集系统通过统一管理爬虫线程以及数据滤重，大大减少了开发人员的工作量，提高了数据采集效率和精度。
数据采集系统方法

[发明专利]一种调整爬虫更新频率的方法、存储介质及爬虫服务器-CN201910738844.9有效
发明人：王高鹏 -专利权人：北京智游网安科技有限公司
申请日： 2019-08-12 - 公布日： 2022-07-22 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种调整爬虫更新频率的方法、存储介质及爬虫服务器，所述方法包括：在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取各渠道中爬虫采集数据的数据量；计算获取到的所有数据量的平均值；根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新。本发明通过在每一轮爬虫任务后，更新渠道的标识字符，并通过所述标识字符自动化调整爬虫更新频率，同时也节约了人力成本和机器成本。
一种调整爬虫更新频率方法存储介质服务器

[发明专利]一种分布式爬虫的调度管理方法-CN201811620979.7有效
发明人：杨胜华;宋设 -专利权人：浪潮软件集团有限公司
申请日： 2018-12-28 - 公布日： 2023-06-06 - 主分类号： G06F16/951 文献下载
摘要：本发明提供一种分布式爬虫的调度管理方法，属于调度管理技术领域，该方法将爬虫进程调度和爬虫任务调度包装在爬虫心跳中，将心跳信息反馈给基于zookeeper集群搭建的中心节点，通过中心节点判断是否有调度节点或心跳节点发生异常，在有调度节点或心跳节点发生异常时，中心节点进行调度节点或心跳节点的调度管理，解决现有调度管理方法在调度节点宕机时不能及时调整与所对应的爬虫节点的链接，造成爬虫节点资源的浪费的问题，同时，解决现有调度管理方法在爬虫节点宕机时不能及时释放调度节点的连接
一种分布式爬虫调度管理方法

友情链接：交换友情链接需要网站权重大于4，网站收录10W以上，如符合条件，请联系QQ：76009968。

关于我们寻求报道投稿须知广告合作版权声明网站地图友情链接企业标识联系我们

在线咨询

400-8765-105周一至周五 9:00-18:00

版权所有钻瓜科技（天津）有限公司津ICP备15000985号津公网安备 12019202000206号http://www.vipzhuanli.com/公布日期

咨询在线客服

咨询在线客服

tel code back_top