“爬虫工具”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果592592个，建议您升级VIP下载更多相关专利

[发明专利]一种终止爬虫工具爬取的方法及装置-CN201811145418.6有效
发明人：张鑫 -专利权人：北京国双科技有限公司
申请日： 2018-09-29 - 公布日： 2023-09-05 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开了一种终止爬虫工具爬取的方法及装置，以解决在爬虫工具根据不同的爬取任务进行爬取时，爬虫工具爬取的数据不准确的问题。该方法包括：获得爬虫工具的爬取结果；判断所述爬取结果是否满足终止条件，所述终止条件能够根据爬取需求进行配置；若所述爬取结果满足所述终止条件，则控制所述爬虫工具结束爬取。
一种终止爬虫工具方法装置

[发明专利]可视化网络爬虫方法及装置-CN201810889341.7在审
发明人：刘振华;徐玉立;刘幸明 -专利权人：广州金猫信息技术服务有限公司
申请日： 2018-08-07 - 公布日： 2018-12-21 - 主分类号： G06F17/30 文献下载
摘要：本发明实施例提供一种可视化网络爬虫方法及装置。所述可视化网络爬虫方法，包括：在指定浏览器中启动一目标网站；在接收到选择操作后，显示网络爬虫控制界面，所述控制界面中显示有操作台，所述指定浏览器中安装有网络爬虫插件；监测到在所述操作台中的新增操作后，显示新增的网络爬虫界面，所述网络爬虫界面中包括工具箱栏，所述工具箱栏中包括多个网络流程；接收在所述工具箱栏中的选择操作后，根据所述选择操作形成爬虫流程；将所述爬虫流程进行存储。
网络爬虫工具箱选择操作可视化操作台控制界面爬虫浏览器目标网站网络流程插件存储监测

[发明专利]一种爬虫部署方法、系统、装置、设备及存储介质-CN202011509553.1在审
发明人：刘海飞;刘国宏;姜卓;魏峻 -专利权人：山东中创软件工程股份有限公司
申请日： 2020-12-18 - 公布日： 2021-04-06 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种爬虫部署方法、系统、装置、设备及存储介质，包括：利用本地的目录监测工具对本地的爬虫目录进行监测，以确定爬虫目录中由开发平台向爬虫目录发布爬虫项目引起的增量文件；利用本地的增量同步工具将所述增量文件同步至从服务器，以更新从服务器的爬虫目录；基于预设任务分配规则，将爬虫项目对应的爬虫任务分配至从服务器，以便从服务器基于从服务器的爬虫目录执行主服务器分配的爬虫任务。本申请通过在主服务器和从服务器搭建目录监测和增量同步架构以实现由开发平台向服务器集群中的爬虫目录发布的爬虫项目的实时增量同步，提高了服务器集群间的爬虫项目的增量同步效率及精确度。
一种爬虫部署方法系统装置设备存储介质

[发明专利]一种网络爬虫率的自动化测试方法及装置-CN201510957702.3有效
发明人：徐香联 -专利权人：北京锐安科技有限公司
申请日： 2015-12-17 - 公布日： 2018-12-25 - 主分类号： G06F11/36 文献下载
摘要：本发明实施例公开了一种网络爬虫率的自动化测试方法及装置。该方法包括：访问从爬虫程序的爬虫种子库中读取的种子网址关联的网页，并从所述网页的链接属性中获得设定数值个候选链接；对所述候选链接进行筛选，以得到目标链接，并将所述目标链接导入到测试工具中；依据所述测试工具中导入的目标链接和所述爬虫程序的爬虫结果数据，确定所述爬虫程序的爬全率。本发明实施例中的技术方案，相比于现有技术手动验证爬虫程序的性能，提高了对爬虫程序的测试效率。
一种网络爬虫自动化测试方法装置

[发明专利]一种解决Web证书认证的爬虫方法-CN201711405633.0在审
发明人：王晓斌;傅玉生;勇萌哲;田坤鹏 -专利权人：成都优易数据有限公司
申请日： 2017-12-22 - 公布日： 2018-04-20 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种解决Web证书认证的爬虫方法，涉及有证书的Web爬虫方法领域；其包括步骤1获取目标网站的Web证书后根据证书的类型选择不同的方式导入证书获取Scrapy爬虫框架访问URL的权限；步骤2在Scrapy爬虫框架的下载中间件DownLoad Middleware中集成自动化工具Selenium实现Scrapy爬虫框架访问URL暨模拟为浏览器访问；步骤3基于步骤2进入浏览器后重写Scrapy爬虫框架中的下载中间件Downloader Middleware，并使用自动化工具Selenium的Webdriver获取Web页内容，将其返回给Scrapy爬虫框架中的爬虫Spider并进行解析获取数据完成爬虫工作。本发明解决了现有Scrapy爬虫框架无法完成对有证书验证的网站的爬虫工作的问题，达到了高效实现对有证书验证的网站的爬虫工作的效果。
一种解决 web 证书认证爬虫方法

[发明专利]自定义数据采集系统及方法-CN201911197455.6在审
发明人：田丹;田俊豪;银虹宇;李奇宇 -专利权人：电子科技大学;成都精准云教育科技有限公司
申请日： 2019-11-29 - 公布日： 2020-04-03 - 主分类号： G06F8/20 文献下载
摘要：本申请涉及一种自定义数据采集系统及方法，所述系统包括：任务生成模块和数据采集模块；任务生成模块用于为用户提供可视化交互界面，以便用户通过可视化交互界面自定义爬虫任务脚本；数据采集模块用于采用Web应用程序的自动化测试工具Selenium、基于所述爬虫任务脚本进行数据采集，以及进行数据存储。如此设置，用户可以通过可视化交互界面自定义爬虫任务脚本，轻松地实现对爬虫任务的创建，并通过selenium工具实现对数据的采集。并且selenium的工作原理不同于传统的测试工具，因此可以绕过传统爬虫遇到的反爬虫机制方面的问题，从而具有很高的通用性。
自定义数据采集系统方法

[发明专利]一种页面渲染方法及装置-CN201811612452.X有效
发明人：许宏斌 -专利权人：广州华多网络科技有限公司
申请日： 2018-12-27 - 公布日： 2020-11-20 - 主分类号： G06F9/451 文献下载
摘要：本发明提供了一种页面渲染方法及装置，该方法包括：通过反向代理工具判断获取到的页面访问请求是否为爬虫，若是，则执行下一步；通过Nodejs服务向反向代理工具发送页面加载中指令，根据预置脚本对原始页面进行渲染，得到同构页面；通过Nodejs服务向反向代理工具发送页面加载完成指令和同构页面，以完成爬虫操作和页面显示。本发明在执行爬虫前对原始页面进行提前渲染，使得爬虫能够抓取已经渲染的同构页面，解决传统前端渲染所存在的SEO问题。
一种页面渲染方法装置

[发明专利]网络爬虫系统的测试方法及装置、存储介质、电子设备-CN201910444805.8在审
发明人：吕小立 -专利权人：深圳壹账通智能科技有限公司
申请日： 2019-05-24 - 公布日： 2019-10-15 - 主分类号： G06F11/30 文献下载
摘要：本公开涉及一种网络爬虫系统的测试方法及装置，属于测试工具技术领域，该方法包括：当接收到测试请求信号时，由系统任务数据库中获取爬虫任务，并将该爬虫任务发送至爬虫任务分发机；当该爬虫任务分发机向网络爬虫机器集群分发任务时，获取网络爬虫机器集群中的每一爬虫机器的总工作时间；根据每一爬虫机器的总工作时间，以得到该网络爬虫机器集群中的爬虫机器的工作量是否均衡的判断结果。该方法提高了网络爬虫系统的测试效率，且测试结果准确。
爬虫网络爬虫系统机器集群网络爬虫测试方法及装置任务分发测试请求信号任务数据库测试工具测试效率存储介质电子设备判断结果任务发送工作量分发均衡

[发明专利]一种网络舆情数据爬虫代码快速生成方法-CN202210639703.3在审
发明人：杨威;杜阿卫;韩珍妮 -专利权人：启明信息技术股份有限公司
申请日： 2022-06-07 - 公布日： 2022-09-09 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网络舆情数据爬虫代码快速生成方法，包括以下具体步骤：S1：确认舆情渠道信息；S2：爬取并分析舆情数据；S3：根据舆情数据的分析结果，开发舆情数据爬虫代码；S4：在线调试舆情数据爬虫代码；S5：将调试后的舆情数据爬虫代码上线。本发明通过对爬虫开发流程的分析，设计爬虫工具技术架构并优化开发流程，提高开发效率、缩短开发时间、降低开发运维成本。
一种网络舆情数据爬虫代码快速生成方法

[发明专利]一种数据抓取方法及装置-CN201910891789.7在审
发明人：沈创;洪文明 -专利权人：浙江大搜车软件技术有限公司
申请日： 2019-09-20 - 公布日： 2021-03-23 - 主分类号： G06F16/951 文献下载
摘要：装置、电子设备及存储介质，包括：确定待进行数据抓取的目标网站；确定所述目标网站对应的目标数据抓取模板；所述目标抓取模板由预设的、且与所述目标网站适配的多个通用代码块构成；所述多个通用代码块记录了用于生成爬虫工具的代码；基于所述目标数据抓取模板生成爬虫工具；采用所述爬虫工具从所述目标网站抓取数据。
一种数据抓取方法装置

[发明专利]一种半自动化的垂直爬虫生成工具及方法-CN201410352349.1在审
发明人：陈新蕾;吕芳;魏玉良;刘扬;黄俊恒;王佰玲 -专利权人：哈尔滨工业大学(威海)
申请日： 2014-07-23 - 公布日： 2014-11-12 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种半自动化的垂直爬虫生成工具及方法，该半自动化的垂直爬虫生成方法包括：用户可以选择新建或采用lex-yacc技术打开模板，对模板文件进行词法与语法分析，维护符号表，构造出语法分析树；通过寻找词法与语法分析的规律以及对整个分析过程中数据的存储与处理，根据模板内容构造出树形模板结构；根据要抽取的内容，在树形模板结构中增加、修改或删除模板节点，节点信息中包含跳转关系、XPath表达式、数据存储方式内容；保存模板；该半自动化的垂直爬虫生成工具包括：爬虫自动生成工具模块、爬虫模块。
一种半自动垂直爬虫生成工具方法

[发明专利]基于浏览器端的爬虫检测方法及装置-CN202011055400.4有效
发明人：周浩 -专利权人：武汉虹旭信息技术有限责任公司
申请日： 2020-09-29 - 公布日： 2022-07-15 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例提供一种基于浏览器端的爬虫检测方法及装置，该方法包括：若接收到目标数据采集请求，则获取发送所述目标数据采集请求的浏览器端的用户行为数据和浏览器的特征值，并基于JS脚本检测所述浏览器端的自动化工具的特征；根据所述用户行为数据、浏览器的特征值和自动化工具的特征，判断所述目标数据采集请求是否为爬虫请求。本发明实施例综合考虑用户行为数据、浏览器的特征值和自动化工具的特征，使得爬虫检测结果更加准确。
基于浏览器爬虫检测方法装置

[发明专利]一种爬虫采集内容结构化的方法-CN201410111764.8有效
发明人：程瑶 -专利权人：浪潮电子信息产业股份有限公司
申请日： 2014-03-25 - 公布日： 2018-02-23 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种爬虫采集内容结构化的方法，适用于爬虫对网页的解析阶段，其适用的体系结构包括爬虫模块、解析模块和结合模块；其中，爬虫模块实现整个数据采集过程，包含结合模块；解析模块是实现网页解析的独立模块；结合模块用于连接爬虫模块和解析模块。该方法利用结合模块把爬虫模块和专业的网页解析模块结合到了一起，在爬虫进行到解析阶段时，会自动调用解析模块的内容；解析完毕后，会继续爬虫模块的剩余流程，将已经结构化完毕的字段提交给搜索引擎。该方法通过把具有网页解析功能的工具与爬虫结合，实现对用户需要字段的自定义解析、自定义提取，使用灵活，可以有效扩展可结构化的字段，扩大后期搜索分析的范围。
一种爬虫采集内容结构方法

[发明专利]一种应用商城中应用信息的抓取方法及装置-CN201810850341.6在审
发明人：阳雄 -专利权人：安徽捷兴信息安全技术有限公司
申请日： 2018-07-28 - 公布日： 2018-12-21 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种应用商城中应用信息的抓取方法，所述方法包括：接收预定义的与应用商城匹配的爬虫规则，其中，所述预定义的规则中至少包括：与应用商城的标识信息相对应的爬虫标识信息、应用商城的分类列表、应用商城分类列表页面连接模式、列表页抓取配置、详情页抓取配置、抓取脚本、HTTP请求头以及爬虫工具的cookie设置中的至少一种；解析所述爬虫规则，并加载所述爬虫规则；根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取。
抓取爬虫应用信息应用标识信息预定义连接模式列表页面爬虫工具分类脚本加载配置解析匹配采集

[发明专利]一种基于Kafka和Quartz的分布式爬虫架构及其实现方法-CN201610120023.5有效
发明人：甄教明;王茂帅;于文才;高峰;柳廷娜 -专利权人：浪潮软件股份有限公司
申请日： 2016-03-03 - 公布日： 2019-02-15 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开了一种基于Kafka和Quartz的分布式爬虫架构及其实现方法，属于计算机数据挖掘技术领域，本发明要解决的技术问题为如何能够通过单机爬虫框架结合分布式工具完成分布式爬虫的需求，实现爬取队列消息的多节点分发以及定时爬取技术方案为：（1）、一种基于Kafka和Quartz的分布式爬虫架构，该爬虫架构包括基础爬虫组件、URL存储队列、基于Kafka的URL消息分发机制、基于Quartz的爬虫作业调度机制和前端控制台。（2）、一种基于Kafka和Quartz的分布式爬虫架构的实现方法，包括如下步骤：（1）、通过前端控制台的页面设定爬取入口、爬取规则、爬取结果存储方式以及调度规则的参数，同时选择要部署的集群节点进行部署
一种基于 kafka quartz 分布式爬虫架构及其实现方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条