“爬虫系统”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果4848834个，建议您升级VIP下载更多相关专利

[发明专利]爬虫系统-CN201511001550.6在审
发明人：邹奇峰 -专利权人：乐视网信息技术（北京）股份有限公司
申请日： 2015-12-28 - 公布日： 2016-08-17 - 主分类号： G06F17/30 文献下载
摘要：本发明实施例提供一种爬虫系统，包括：网页分析器，用于对网页进行分析，并从DNS服务器获取网页的IP地址，生成爬取任务；任务模块，用于将所述爬取任务存储到任务队列；以及爬虫模块，用于从所述任务队列中获取所述爬取任务本发明实施例的爬虫系统和爬虫方法，在网页分析中执行DNS查询，避免DNS查询在爬取过程中造成管道阻塞，提高爬虫效率。
爬虫系统

[发明专利]一种分布式爬虫调度系统-CN202011303271.6在审
发明人：庞文俊;陈继;汤桂林;李小超;伊晓强 -专利权人：清创网御（合肥）科技有限公司
申请日： 2020-11-19 - 公布日： 2021-02-26 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种分布式爬虫调度系统，包括调度控制器、多个爬虫系统与过滤器；所述调度控制器包括调度器、分配器、内部配置有用于对爬虫任务按照调度时间进行正向排序的排序列表和用于分配爬虫任务的待采集队列；所述爬虫系统包括网页解析器与多个爬虫，每个爬虫分配了一个爬虫队列，并接受调度控制器下发的任务；所述爬虫系统的作用包括网页下载和网页解析；所述爬虫系统启动时，把本系统具备的所有爬虫和爬虫位置信息上报到调度控制器。本发明计算调度时间的高效性，调度过程中的指定某类或者某个爬虫，并采用独立的过滤器支持多种模式和持续大量数据的过滤。
一种分布式爬虫调度系统

[发明专利]分布式爬虫系统架构、爬取数据的方法和计算机设备-CN201910601110.6在审
发明人：车驰;李钢;权佳成;谭瑞;张瑜 -专利权人：重庆金融资产交易所有限责任公司
申请日： 2019-07-04 - 公布日： 2019-11-15 - 主分类号： G06F16/951 文献下载
摘要：本申请揭示了一种分布式爬虫系统架构、爬取数据的方法和计算机设备，其中方法包括：利用任务发布模块获取爬虫任务，并将爬虫任务发送给爬虫模块；爬虫模块获取到爬虫任务后，到爬虫服务模块中调用与爬取要求对应的目标爬虫服务，并利用目标爬虫服务，到目标网站上爬取原始爬虫数据；将爬取的原始爬虫数据存储到预设的第一存储模块。本申请的分布式爬虫系统架构、分布式爬虫爬取数据的方法和计算机设备等，设置爬虫服务模块，将整个爬虫系统的底层需求进行封装，进行模块化，服务化的处理，减少开发人员的工作量，以及不限制开发人员的开发语言，降低能力需求；通过架构设计提升爬虫系统的稳定性和扩展能力。
爬虫爬虫系统计算机设备服务模块爬虫模块爬虫数据架构任务发布模块存储模块架构设计开发语言扩展能力目标网站能力需求模块化预设调用封装申请工作量服务存储开发

[发明专利]网络爬虫系统的测试方法及装置、存储介质、电子设备-CN201910444805.8在审
发明人：吕小立 -专利权人：深圳壹账通智能科技有限公司
申请日： 2019-05-24 - 公布日： 2019-10-15 - 主分类号： G06F11/30 文献下载
摘要：本公开涉及一种网络爬虫系统的测试方法及装置，属于测试工具技术领域，该方法包括：当接收到测试请求信号时，由系统任务数据库中获取爬虫任务，并将该爬虫任务发送至爬虫任务分发机；当该爬虫任务分发机向网络爬虫机器集群分发任务时，获取网络爬虫机器集群中的每一爬虫机器的总工作时间；根据每一爬虫机器的总工作时间，以得到该网络爬虫机器集群中的爬虫机器的工作量是否均衡的判断结果。该方法提高了网络爬虫系统的测试效率，且测试结果准确。
爬虫网络爬虫系统机器集群网络爬虫测试方法及装置任务分发测试请求信号任务数据库测试工具测试效率存储介质电子设备判断结果任务发送工作量分发均衡

[发明专利]一种异步爬虫系统及数据爬取方法-CN202010171572.1在审
发明人：周坤朋;秦曼;王连军 -专利权人：郑州悉知信息科技股份有限公司
申请日： 2020-03-12 - 公布日： 2020-07-10 - 主分类号： G06F16/951 文献下载
摘要：本申请提供了一种异步爬虫系统及数据爬取方法，其中，异步爬虫系统包括业务层模块和服务层模块；业务层模块在接收到来自终端的爬虫需求时，根据爬虫需求生成爬虫请求，将生成的爬虫请求进行缓存；服务层模块从已缓存的爬虫请求中取爬虫请求至Celery队列；利用Celery系统的多个任务执行单元并行爬取Celery队列中多个爬虫请求分别对应的数据，并将针对每个爬虫请求爬取的数据进行整合，以获得每个爬虫请求对应的目标数据；以及利用Celery系统将每个爬虫请求对应的目标数据返回给业务层模块，以供终端从业务层模块获取。本申请能够大大提高数据爬取效率，且当面对源源不断的爬虫需求时，能够快速地进行响应。
一种异步爬虫系统数据方法

[实用新型]一种智能爬虫用控制设备-CN201420637229.1有效
发明人：王庆红;李广凯;周育忠;韦嵘晖;郑金 -专利权人：中国南方电网有限责任公司电网技术研究中心;南方电网科学研究院有限责任公司
申请日： 2014-10-30 - 公布日： 2015-04-15 - 主分类号： G06F21/56 文献下载
摘要：本实用新型涉及智能爬虫用控制设备，其包括盒体，盒体内设置有网络通讯模块、爬虫启停入口配置装置、爬虫系统运行装置以及存储装置，网络通讯模块与爬虫启停入口配置装置相连接，爬虫启停入口配置装置与爬虫系统运行装置相连接，存储装置与爬虫系统运行装置相连接，其特征在于：还包括死锁侦测控制装置，死锁侦测控制装置与爬虫系统运行装置及爬虫启停入口配置装置相连接。本实用新型能有效地解决智能爬虫的死锁问题。
一种智能爬虫控制设备

[发明专利]一种分布式爬虫系统及其实现方法-CN201911095920.5在审
发明人：李亚萍;侯林勇;刘婉莹;王俊;张亮;杨坤;方程;袁率 -专利权人：贵州小叮当信息技术有限公司
申请日： 2019-11-11 - 公布日： 2020-04-24 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种分布式爬虫系统及其实现方法，包括登录窗口、日常空间和工作空间，登录窗口的输出端分别与日常空间和工作空间的输入端连接，日常空间和工作空间的输出端分别与通用网络爬虫系统和聚焦网络爬虫系统的输入端连接，本发明涉及爬虫系统技术领域。该分布式爬虫系统及其实现方法，通过设置日常空间和工作空间两种模式，并设置通用网络爬虫系统和聚焦网络爬虫系统分别搭载在两种模式上，日常空间可正常检索所有信息，而聚焦网络爬虫系统可正对性的采集与工作相关的信息，两种模式随意切换，互不干扰，且聚焦网络爬虫系统是依附于通用网络爬虫系统的主体结构使用，只需将部分程序文件替换，则可实现两种模式的切换。
一种分布式爬虫系统及其实现方法

[发明专利]基于scrapy爬虫框架的数据采集系统及方法-CN201911376762.0在审
发明人：魏志强;贾东宁;聂为之;刘安安;苏育挺 -专利权人：青岛海洋科学与技术国家实验室发展中心
申请日： 2019-12-27 - 公布日： 2020-05-29 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种基于scrapy爬虫框架的数据采集系统及方法，包括：爬虫队列模块和爬虫执行模块；爬虫队列模块包括爬虫种子队列、爬虫种子处理单元和爬虫任务队列；爬虫种子队列用于存储爬虫任务；爬虫种子处理单元用于对爬虫种子队列中的爬虫任务进行去重筛选处理，并将去重筛选后的爬虫任务存储入爬虫任务队列；爬虫执行模块包括网页下载单元和URL挖掘单元；网页下载单元用于从爬虫任务队列中读取当前需要执行的爬虫任务，基于读取到的爬虫任务下载网页；URL挖掘单元用于在下载到的网页中提取到新的URL链接作为新的爬虫任务存入爬虫种子队列；实现对特定领域网站域名的深度挖掘，提升了系统的爬取广度。
基于 scrapy 爬虫框架数据采集系统方法

[发明专利]一种爬虫系统及方法-CN201910807818.7在审
发明人：黄逸群;郑航星 -专利权人：杭州时趣信息技术有限公司
申请日： 2019-08-29 - 公布日： 2019-11-29 - 主分类号： G06F16/951 文献下载
摘要：本申请提供了一种爬虫系统及方法，爬虫系统包括：爬虫后台，用于依据预先设定的抓取目标，从网络中抓取网页；爬虫报表实时处理系统，用于对所述爬虫后台抓取的网页进行分类解析，得到分类解析结果，并将所述分类解析结果及所述爬虫后台抓取的网页存入数据库；管理后台，用于对所述数据库中存储的分类解析结果及所述爬虫后台抓取的网页进行管理。在本申请中，通过以上方式可以提高爬虫系统的实用性。
抓取爬虫解析结果爬虫系统后台网页分类数据库实时处理系统管理后台申请解析存储网络管理

[发明专利]一种基于浏览器端的爬虫、分布式爬虫系统及方法-CN201810240792.8在审
发明人：张琳艳;赵仁杰 -专利权人：成都数聚城堡科技有限公司
申请日： 2018-03-22 - 公布日： 2018-09-28 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种基于浏览器端的爬虫、分布式爬虫系统及方法。基于浏览器端的爬虫的程序嵌套在网页中，用户在浏览器中打开相应页面，爬虫程序被下载到本地并启动，在用户客户端新生成一个爬虫。基于浏览器端的分布式爬虫系统，包括基于浏览器端的爬虫和服务器子系统，服务器子系统的页面嵌套有所述基于浏览器端的爬虫的程序，用户在浏览器中打开所述页面，基于浏览器端的爬虫程序被启动，在用户客户端新生成一个爬虫基于浏览器端的爬虫的工作方法，包括用户通过浏览器访问系统服务器，打开网页加载网页正文，在限定时间内加载成功则下载爬虫脚本，否则放弃本次爬虫等步骤。本客户端爬虫明显减轻服务器端的运算负荷，且IP池由用户客户端提供。
爬虫浏览器用户客户端爬虫系统页面服务器子系统爬虫程序下载嵌套系统服务器浏览器访问程序嵌套加载成功网页加载网页正文运算负荷客户端脚本服务器网页放弃

[发明专利]检测反爬虫策略安全性的方法及装置-CN201610537443.3有效
发明人：崔广宇;李巍 -专利权人：携程计算机技术（上海）有限公司
申请日： 2016-07-08 - 公布日： 2019-05-21 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种检测反爬虫策略安全性的方法及装置，其中，所述方法包括：在网站的第一前端页面中嵌入用于实现反爬虫策略的反爬虫代码；利用所述反爬虫代码检测访问所述第一前端页面的用户是否为爬虫，将被检测出是爬虫的用户记为目标对象；验证所述目标对象是否为爬虫，统计所述目标对象非爬虫的次数；根据所述次数计算所述反爬虫策略的误伤率，所述误伤率用于衡量所述反爬虫策略的安全性。本发明弥补了现有技术对反爬虫策略的安全性检测不当造成系统伤害的不足，能够对反爬虫策略安全性准确检测，便于及时对反爬虫策略进行修改或更新，避免由于反爬虫策略的安全性对线上系统的稳定性造成影响，在检测爬虫的同时保证系统的稳定性
检测爬虫策略安全性方法装置

[发明专利]一种负载均衡的分布式大数据爬虫系统-CN201710193568.3在审
发明人：张宏斌;朱斌;刘威;李心恺;薛晓峰 -专利权人：江苏飞搏软件股份有限公司
申请日： 2017-03-28 - 公布日： 2017-08-18 - 主分类号： H04L29/08 文献下载
摘要：本发明涉及一种负载均衡的分布式大数据爬虫系统，包括用户管理端、服务器端、爬虫集群端和数据存储端，用户管理端是爬虫系统对管理者提供的Web接口，管理者通过用户管理端连接并访问Web平台，服务器端通过服务接口连接用户管理端，在服务器端设有爬虫负载均衡管理模块、爬虫任务调度模块、爬虫性能监控模块，爬虫集群端设有若干个彼此独立的网络爬虫节点，所有网络爬虫节点均通过爬行器接口连接服务器端，设置在数据存储端的存储接口通过数据总线连接爬虫集群端，数据存储端设有用于存储抓取结果文件的数据库系统。该系统通过管理者对网络爬虫集群进行统一管理和分布式部署，能灵活管理爬虫任务，实现爬虫集群的负载均衡，使得爬虫工作高效、稳定。
一种负载均衡分布式数据爬虫系统

[发明专利]一种网络爬虫运行异常监控方法和系统-CN201310152396.7有效
发明人：周东;廖耀华 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2013-04-27 - 公布日： 2013-08-14 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种网络爬虫运行异常监控方法，该方法包括以下步骤：检测网络爬虫运行状态；判断网络爬虫运行状态是否存在异常；当爬虫运行状态出现异常时，进行异常报警。本发明还提供了一种网络爬虫运行异常监控系统，该系统包括网络爬虫运行状态检测单元、状态判断单元、报警单元。本发明提供的网络爬虫运行异常监控方法和系统能够及时检测出网络爬虫的异常运行状态，并且发出报警信息，提高了网络爬虫的运行可靠性。
一种网络爬虫运行异常监控方法系统

[发明专利]一种分布式爬虫管理系统及其方法-CN201710092369.3有效
发明人：刘希;陈进宝;刘光辉 -专利权人：国信优易数据有限公司
申请日： 2017-02-21 - 公布日： 2020-08-18 - 主分类号： G06F16/951 文献下载
摘要：本发明公开一种分布式爬虫管理系统，包括：用于系统登录和数据展示的主页展示模块；创建项目和对项目进行管理的项目管理模块；对项目爬虫进行部署和管理的爬虫管理模块；对爬虫数据进行监控管理的数据管理模块；对爬虫节点进行管理的节点管理模块和对用户的爬虫进行代理管理的代理管理模块，其中，所述爬虫节点为从云平台上申请的虚拟机。此外，本发明还提供一种分布式爬虫管理方法。本发明的分布式爬虫管理系统能够提供反爬解决方案以及爬虫和数据的管理与分析，从而为企业或个人提供安全、高效的数据爬取解决方案。
一种分布式爬虫管理系统及其方法

[发明专利]多中心综合网络爬虫系统-CN202010206809.5有效
发明人：闫长江 -专利权人：新华智云科技有限公司
申请日： 2020-03-23 - 公布日： 2023-09-01 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种多中心综合网络爬虫系统，包括：爬虫中心和若干不同特色业务中心；若干不同特色业务中心分别处理不同的特色业务；爬虫中心用于对爬虫进行集中管理为不同特色业务中心服务；爬虫中心包括：爬虫池、爬虫执行缓存池、爬虫持久化数据库、爬虫维护API、爬虫执行器和爬虫组。本发明的有益之处在于，用户覆盖面广，爬虫的利用率及效益高。
中心综合网络爬虫系统

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条