“爬虫”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3998个，建议您升级VIP下载更多相关专利

[发明专利]基于Chrome插件的爬虫方法、装置、计算机设备和存储介质-CN202110813985.X在审
发明人：林鹏;蔡权;黄九鸣;张圣栋;曾琰 -专利权人：湖南四方天箭信息科技有限公司
申请日： 2021-07-19 - 公布日： 2021-09-21 - 主分类号： G06F9/4401 文献下载
摘要：本发明涉及网络爬虫技术领域，提供了一种基于Chrome插件的爬虫方法、装置、计算机设备和存储介质，所述方法包括：向任务调度中心请求爬虫任务；根据所述爬虫任务请求对应的爬虫标注模板，所述爬虫标注模板预先对目标网页进行模板标注得到；启动Chrome插件，由所述Chrome插件根据所述爬虫标注模板中标注到的网页元素进行爬虫操作。采用本方法能够提高爬虫采集的工作效率。
基于 chrome 插件爬虫方法装置计算机设备存储介质

[发明专利]一种监控网络爬虫的方法、装置和系统-CN201611025201.2在审
发明人：邱继钊;王洪添 -专利权人：山东浪潮云服务信息科技有限公司
申请日： 2016-11-16 - 公布日： 2017-05-31 - 主分类号： H04L12/26 文献下载
摘要：本发明提供了一种监控网络爬虫的方法、装置和系统，该方法包括通过监控外部的网络爬虫，当监控到外部的网络爬虫运行时，记录外部的网络爬虫产生的抓取痕迹，通过将网络爬虫产生的抓取痕迹与预设的抓取规则进行比对，根据对比结果，能够确定外部的网络爬虫的运行状态。由于该监控网络爬虫的方法能够将网络爬虫的抓取痕迹与预设的抓取规则进行比对，判断出网络爬虫的运行状态，从而实现了对网络爬虫的工作状态的监控。
一种监控网络爬虫方法装置系统

[发明专利]一种智能爬虫任务的方法及装置-CN201711106956.X在审
发明人：郭建辉 -专利权人：天脉聚源（北京）传媒科技有限公司
申请日： 2017-11-10 - 公布日： 2018-04-06 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种智能爬虫任务的方法及装置。所述智能爬虫任务的方法，包括根据预先配置完成的第一爬虫规则生成第一爬虫任务；根据所述第一爬虫任务获取目标网络链接；将所述目标网络链接作为第二爬虫规则的输入；根据所述第二爬虫规则生成的第二爬虫任务存储相应的数据内容本发明通过智能化的爬虫任务管理，可获取到两次及两次以上的网络跳转之后的数据内容，从而提升了爬虫任务的智能度。
一种智能爬虫任务方法装置

[发明专利]爬虫协议管理方法及装置、爬虫系统-CN201910029714.8有效
发明人：李超;李毅;陈飞 -专利权人：北京搜狗科技发展有限公司
申请日： 2019-01-14 - 公布日： 2021-08-17 - 主分类号： G06F16/955 文献下载
摘要：本发明公开了一种爬虫协议管理方法及装置，所述方法包括：获取站点的爬虫协议文件，并将所述爬虫协议文件加入消息队列中；实时监测所述消息队列，对所述消息队列中新加入的爬虫协议文件进行解析处理，得到解析后的爬虫协议文件，所述解析后的爬虫协议文件包括站点与爬虫协议的对应关系；将所述解析后的爬虫协议文件存入数据库中。本发明还提供一种爬虫系统。利用本发明，可以实现对爬虫协议的统一管理。
爬虫协议管理方法装置系统

[发明专利]钓鱼网站收集方法和钓鱼网站收集设备-CN201110444848.X有效
发明人：卢小海;李钠;郑伟;张鸿勋;卢梁;叶兴;卢善成;柯强;刘可春;李晨;黄硕 -专利权人：北京神州绿盟信息安全科技股份有限公司
申请日： 2011-12-27 - 公布日： 2012-07-11 - 主分类号： G06F17/30 文献下载
摘要：方法包括：获取爬虫程序代理列表，所述爬虫程序代理列表中包括多种爬虫程序；获取所述爬虫程序代理列表中各爬虫程序的性能加权值；根据各爬虫程序的性能加权值，确定目标爬虫程序；采用所述目标爬虫程序获取与搜索主题相关的钓鱼网站本发明根据各代理反钓鱼网站业务的网站采用的爬虫程序的性能加权值，确定目标爬虫程序，采用该目标爬虫程序搜索钓鱼网站，从而能够根据不断出现的钓鱼网站适应调整目标爬虫程序，提高收集钓鱼网站的准确率。
钓鱼网站收集方法设备

[发明专利]网络爬虫方法、装置、设备及介质-CN202010174191.9在审
发明人：戴玲 -专利权人：平安科技（深圳）有限公司
申请日： 2020-03-12 - 公布日： 2020-08-07 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网络爬虫方法、装置、设备及介质，涉及金融科技技术领域，该网络爬虫方法包括：在检测到爬虫指令时，开始爬虫部署在服务器端的预设应用对应的各个页面；在爬虫过程中，每爬虫一个页面后获取该被爬虫页面的第一MD5编码值，并将该被爬虫页面的第一MD5编码值保存在预设静态内容列表中，以避免重复爬虫；获取爬虫得到的各个页面对应的页面内容，并将所述各个页面对应的页面内容发送给预设索引应用，以得到索引文件。本发明解决现有爬虫组件爬虫过程中，爬虫易因陷入死循环而易致使服务器崩溃的技术问题。
网络爬虫方法装置设备介质

[发明专利]一种异步爬虫系统及数据爬取方法-CN202010171572.1在审
发明人：周坤朋;秦曼;王连军 -专利权人：郑州悉知信息科技股份有限公司
申请日： 2020-03-12 - 公布日： 2020-07-10 - 主分类号： G06F16/951 文献下载
摘要：本申请提供了一种异步爬虫系统及数据爬取方法，其中，异步爬虫系统包括业务层模块和服务层模块；业务层模块在接收到来自终端的爬虫需求时，根据爬虫需求生成爬虫请求，将生成的爬虫请求进行缓存；服务层模块从已缓存的爬虫请求中取爬虫请求至Celery队列；利用Celery系统的多个任务执行单元并行爬取Celery队列中多个爬虫请求分别对应的数据，并将针对每个爬虫请求爬取的数据进行整合，以获得每个爬虫请求对应的目标数据；以及利用Celery系统将每个爬虫请求对应的目标数据返回给业务层模块，以供终端从业务层模块获取。本申请能够大大提高数据爬取效率，且当面对源源不断的爬虫需求时，能够快速地进行响应。
一种异步爬虫系统数据方法

[发明专利]一种分布式爬虫调度系统-CN202011303271.6在审
发明人：庞文俊;陈继;汤桂林;李小超;伊晓强 -专利权人：清创网御（合肥）科技有限公司
申请日： 2020-11-19 - 公布日： 2021-02-26 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种分布式爬虫调度系统，包括调度控制器、多个爬虫系统与过滤器；所述调度控制器包括调度器、分配器、内部配置有用于对爬虫任务按照调度时间进行正向排序的排序列表和用于分配爬虫任务的待采集队列；所述爬虫系统包括网页解析器与多个爬虫，每个爬虫分配了一个爬虫队列，并接受调度控制器下发的任务；所述爬虫系统的作用包括网页下载和网页解析；所述爬虫系统启动时，把本系统具备的所有爬虫和爬虫位置信息上报到调度控制器。本发明计算调度时间的高效性，调度过程中的指定某类或者某个爬虫，并采用独立的过滤器支持多种模式和持续大量数据的过滤。
一种分布式爬虫调度系统

[发明专利]基于计算资源的分布式爬虫调度系统及方法-CN202010464671.9在审
发明人：肖曦;唐新怀 -专利权人：上海交通大学
申请日： 2020-05-28 - 公布日： 2021-12-03 - 主分类号： G06F16/951 文献下载
摘要：一种基于计算资源的分布式爬虫调度系统及方法，通过客户端获取用户定义的爬虫方案以生成导航页爬虫种子并存储在Redis数据库中；爬虫生产者节点集群中的各节点计算自身资源获取导航页爬虫种子，并将所生成的内容页爬虫种子存储在客户端的Redis数据库中；爬虫消费者节点集群中的各个节点计算自身资源获取内容页爬虫种子，操作内容页爬虫种子采集目标数据。本发明可针对特定事件进行数据采集；基于Redis数据库进行爬虫调度，提升调度速度并保证了数据一致性；根据爬虫节点资源执行爬虫种子，充分发挥节点性能，使爬虫系统高效、易拓展。
基于计算资源分布式爬虫调度系统方法

[发明专利]一种用于房库网的网络爬虫服务系统-CN201410347463.5有效
发明人：贾岩 -专利权人：安徽华贞信息科技有限公司
申请日： 2014-07-21 - 公布日： 2018-06-26 - 主分类号： G06F17/30 文献下载
摘要：本发明提出了一种用于房库网的网络爬虫服务系统，可快速的进行网站挖掘并提取房产相关的数据，包括：网站爬虫模块，由多个网站爬虫组成，网站爬虫与网站一一对应，并针对网站的页面元素进行解析，网站爬虫抽取网站数据进行语义分析并映射到预设的数据实体当中进行保存；监控服务模块，用于监控各个网站爬虫的工作情况，判断网站爬虫工作是否正常，数据抓取是否正确；管理服务模块，用于配置网站爬虫工作相关参数的设置，对网站爬虫进行升级，并对服务系统的启动与停止、网站爬虫的生命周期及工作进行管理；部署服务模块，用于对网站爬虫进行分配与部署；调度服务模块，内置网络爬虫的调度模式，对网站爬虫的工作方式、时间、停止进行调度管理。
网站爬虫服务系统网络爬虫管理服务模块监控服务模块部署服务调度服务调度管理调度模式多个网站爬虫模块生命周期数据实体数据抓取网站数据相关参数页面元素语义分析映射内置预设抽取解析保存监控挖掘分配配置升级部署管理

[发明专利]爬虫任务的取消方法及装置-CN201610987134.6有效
发明人：朱长坚 -专利权人：北京国双科技有限公司
申请日： 2016-11-09 - 公布日： 2021-03-26 - 主分类号： G06F9/48 文献下载
摘要：本申请公开了一种爬虫任务的取消方法及装置。该方法包括：检测目标消息队列中是否已注入目标爬虫任务，其中，目标消息队列为爬虫系统的监测单元所属的消息队列，监测单元用于对爬虫任务进行监测；如果检测到目标消息队列中已注入目标爬虫任务，确定目标爬虫任务的唯一标识并运行目标爬虫任务；在运行目标爬虫任务的过程中检测是否接收到取消指令；如果接收到取消指令，根据目标爬虫任务的唯一标识修改目标爬虫任务的运行状态；以及在检测到运行状态发生改变时，根据修改后的目标爬虫任务的运行状态执行取消运行目标爬虫任务通过本申请，解决了相关技术中在取消爬虫任务时，造成系统很多的通信资源浪费的问题。
爬虫任务取消方法装置

[发明专利]一种网络爬虫的处理方法、系统及设备-CN202010027254.8在审
发明人：朱传江;高力 -专利权人：上海云盾信息技术有限公司
申请日： 2020-01-10 - 公布日： 2021-07-16 - 主分类号： H04L29/06 文献下载
摘要：本申请的目的是提供一种网络爬虫的处理方法、系统及设备，本申请通过接收访问流量，将所述访问流量牵引到设有防火墙边缘的防护节点，对所述访问流量进行识别，确定出已知爬虫以及已知爬虫所属的爬虫类别；对未确定出所属的爬虫类别的访问流量进行行为分析识别，确定出未知爬虫的威胁值，根据所述威胁值确定所述未知爬虫所属的爬虫类别；根据所述已知爬虫所属的爬虫类别以及所述未知爬虫所属的类别进行访问流量可视化展示，并调整所述当前业务的访问流量。从而高效、精确地识别了恶意爬虫和正常流量并分别加以处置，同时可视化直观展示了爬虫数据，便于网站管理人员对爬虫类别相关数据进行针对性分析。
一种网络爬虫处理方法系统设备

[实用新型]一种林业捕虫装置-CN202120193457.4有效
发明人：杨瑞芳;冶金兰;李连生;朱爱群 -专利权人：杨瑞芳;冶金兰;李连生
申请日： 2021-01-22 - 公布日： 2021-10-08 - 主分类号： A01M1/02 文献下载
摘要：本实用新型公开了一种林业捕虫装置，涉及林业防护技术领域，包括稳定座，所述稳定座的顶部固定安装有爬虫捕捉机构，所述爬虫捕捉机构的顶部固定连接有飞虫捕捉机构，所述爬虫捕捉机构包括捕捉箱，所述捕捉箱的内腔中固定焊接有分隔板本实用新型通过启动爬虫引诱灯，使得爬虫被爬虫引诱灯吸引住，通过进虫口爬进捕捉箱内，进入模拟草坪层上，继续向爬虫引诱灯方向移动，爬虫爬至模拟草坪层的顶部时，被爬虫引诱香棒的香味吸引，促使爬虫向爬虫引诱香棒的方向爬行，从而落入爬虫收集盒的内腔中，即完成对爬虫的捕捉，减少爬虫对林园的植被安全造成伤害的几率，提升本实用新型的实用性。
一种林业装置

[发明专利]反爬虫处理方法、装置、电子设备及可读存储介质-CN202210649745.5在审
发明人：林海;陈家烁;王蕙蓉;谭成;马稼明 -专利权人：中国电信股份有限公司
申请日： 2022-06-09 - 公布日： 2022-09-16 - 主分类号： H04L9/40 文献下载
摘要：本发明实施例提供了一种反爬虫处理方法、装置、电子设备及可读存储介质。该方法中，响应于访问请求，从第一历史IP对应的爬虫指数中查找目标IP对应的爬虫指数，作为目标爬虫指数；第一历史IP和第一历史IP对应的爬虫指数根据至少两个第二网站节点的IP访问记录获得，爬虫指数用于表征第一历史IP属于爬虫IP的概率，目标IP为访问请求使用的IP。在目标爬虫指数大于预设指数阈值的情况下，执行预设反爬虫操作。这样，利用多个第二网站节点的访问记录识别爬虫IP，可以实现快速识别爬虫IP，并对其执行反爬虫操作。
爬虫处理方法装置电子设备可读存储介质

[发明专利]一种自动化垂直细分领域的爬虫爬取方法及其管理系统-CN201710673166.3有效
发明人：郑小林;张建勇;林炜华 -专利权人：杭州灵皓科技有限公司
申请日： 2017-08-08 - 公布日： 2020-02-14 - 主分类号： G06F16/955 文献下载
摘要：本发明涉及爬虫爬取和管理调度技术，旨在提供一种自动化垂直细分领域的爬虫爬取方法及其管理系统。该种自动化垂直细分领域的爬虫爬取方法包括过程：爬虫运行时间预测；根据预测时间、并行数进行批量爬虫调度优化；爬虫爬取。本发明在垂直细分领域爬虫的爬取效率上比现有技术更加高效，结合垂直细分爬虫的特征开创地引入了爬虫的时间预测模型，结合最长处理时间优先算法进行并行爬虫的高效调度，节省爬取时间。
一种自动化垂直细分领域爬虫方法及其管理系统