“爬虫服务器”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果8777403个，建议您升级VIP下载更多相关专利

[发明专利]一种爬虫部署方法、系统、装置、设备及存储介质-CN202011509553.1在审
发明人：刘海飞;刘国宏;姜卓;魏峻 -专利权人：山东中创软件工程股份有限公司
申请日： 2020-12-18 - 公布日： 2021-04-06 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种爬虫部署方法、系统、装置、设备及存储介质，包括：利用本地的目录监测工具对本地的爬虫目录进行监测，以确定爬虫目录中由开发平台向爬虫目录发布爬虫项目引起的增量文件；利用本地的增量同步工具将所述增量文件同步至从服务器，以更新从服务器的爬虫目录；基于预设任务分配规则，将爬虫项目对应的爬虫任务分配至从服务器，以便从服务器基于从服务器的爬虫目录执行主服务器分配的爬虫任务。本申请通过在主服务器和从服务器搭建目录监测和增量同步架构以实现由开发平台向服务器集群中的爬虫目录发布的爬虫项目的实时增量同步，提高了服务器集群间的爬虫项目的增量同步效率及精确度。
一种爬虫部署方法系统装置设备存储介质

[发明专利]基于APP客户端的爬虫及爬取方法-CN201910102917.5在审
发明人：龚云路 -专利权人：无锡火球普惠信息科技有限公司
申请日： 2019-01-31 - 公布日： 2019-05-28 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了基于APP客户端的爬虫及爬取方法，包括与爬虫服器匹配的爬虫sdk，爬虫sdk集成在APP客户端中，APP客户端通过与爬虫服务器端约定的特定参数来控制爬虫程序的启停，APP客户端作为子节点控制启动爬虫程序采集目标服务器数据实时返还给爬虫服务器，并由爬虫服务器解析采集的目标服务器数据，所有APP客户端都可自由地集成此爬虫sdk，这样既减轻了爬虫服务器的访问压力又可解决现有互联网爬虫技术在反爬虫技术检测下封杀IP的问题。
爬虫爬虫服务器客户端爬虫程序爬虫技术服务器数据目标服务器采集目标控制启动子节点客户启停解析匹配采集互联网检测自由访问

[发明专利]一种负载均衡分布式的爬虫方法、爬虫系统-CN201710790708.5有效
发明人：曾伟英;霍智杰;徐国坤 -专利权人：广东科杰通信息科技有限公司
申请日： 2017-09-05 - 公布日： 2020-08-11 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种负载均衡分布式的爬虫方法、爬虫系统，包括主服务器和多个与主服务器互通的爬虫服务器，每个所述爬虫服务器的下游设置多个爬虫采集节点，包括系统分布式爬虫负载均衡过程：所述主服务器将一个爬虫任务分解成请求页面任务和分析页面任务对各个所述爬虫采集节点的节点状态信息进行监控和分析，从而所述主服务器可及时对所述爬虫采集节点进行调配，避免出现部分爬虫采集节点处于空载状态，提高爬虫采集节点的整体利用率，减少资源浪费。
一种负载均衡分布式爬虫方法系统

[发明专利]分布式爬虫系统及其提取网页数据的方法-CN201010224671.8无效
发明人：贾海禄 -专利权人：北京瑞信在线系统技术有限公司
申请日： 2010-07-07 - 公布日： 2012-01-11 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种分布式爬虫系统及其提取网页数据的方法，该系统包括爬虫服务器，用于发布未处理URL队列，并对所述分布式爬虫系统进行逻辑控制；消息队列服务器，用于从所述爬虫服务器接收URL队列，并将所述URL队列向所述下载端发送；至少一个下载端，用于根据从所述消息队列服务器中接收的URL队列下载网页，并将下载的网页数据发送至所述爬虫服务器；URL过滤器，用于对所述爬虫服务器收到的网页数据进行排重。本发明的爬虫服务器不需要知道下载端的实现，爬虫服务器将任务发给消息队列服务器，并等待任务结果的返回即可，逻辑控制和下载任务的分离，让分布式爬虫系统的启动、管理、容错都变的简单许多。
分布式爬虫系统及其提取网页数据方法

[实用新型]一种爬虫入侵监控提醒系统-CN201820602705.4有效
发明人：刘继华;廖忆菁 -专利权人：昆明英奈特信息技术有限公司
申请日： 2018-04-26 - 公布日： 2018-12-04 - 主分类号： H04L29/08 文献下载
摘要：本新型涉及服务器技术领域，尤其是涉及一种爬虫入侵监控提醒系统。所述的爬虫入侵监控提醒系统主要包括应用服务器、访问客户端、网络交换机、爬虫分析服务器和远程控制客户端，本实用新型利用爬虫分析服务器和网络交换机对用户访问数据进行镜像数据采集，并对采集到数据进行爬虫分析，将占用服务器恶意爬虫的服务器信息发送至分析结果与邮件或短信的形式通知远程控制客户端，实现对占用大量服务器资源的爬虫进行分析、筛选和信息提示，并通过对服务器的远程管理，保证服务器稳定，从而保证网站服务访问速度
爬虫入侵监控提醒系统远程控制客户端服务器分析服务器网络交换机用户访问数据本实用新型访问客户端服务器技术服务器信息服务器资源应用服务器采集占用镜像数据网站服务信息提示远程管理短信网站发送分析筛选保证访问

[发明专利]一种可快速分布式部署的爬虫方法-CN201610751104.5在审
发明人：章水鑫;许伟;叶丹青;左强翔 -专利权人：南京车易淘网络信息技术有限公司
申请日： 2016-08-26 - 公布日： 2016-11-30 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种可快速分布式部署的爬虫方法，Dispatch模块负责生成任务，部署在一台服务器上；Dispose模块负责处理任务，部署在所有的爬虫服务器上，本发明具有以下优点，爬虫任务由单点生成，所有爬虫服务器通过队列获取任务，而且爬虫任务分为列表任务和详情页任务，不同类型的任务分别对应不同类型的消息队列，Dispose模块循环检测数据库配置，对爬虫线程数量进行管理。所有的爬虫服务器都是到消息队列中取任务，任何一台服务器故障，任务会由其他服务器分担。每台爬虫服务器的配置均相同，增减服务器不需要修改项目配置。
一种快速分布式部署爬虫方法

[发明专利]一种大规模分布式数据管理系统及其方法-CN201611055775.4有效
发明人：王亚松;刘希;常子青 -专利权人：国信优易数据有限公司
申请日： 2016-11-25 - 公布日： 2019-08-02 - 主分类号： H04L29/08 文献下载
摘要：该系统包括爬虫端、数据收集服务器、主控制器、分布式存储服务器和业务端，爬虫端和业务端分别与数据收集服务器进行数据交互，其中，爬虫端根据主控制器的指令来抓取网页数据并向数据收集服务器发送；数据收集服务器用于将爬虫端发送的数据整合之后上传至分布式存储服务器，并将数据发送给业务端；主控制器用于管理爬虫端、业务端认证以及数据收集服务器的负载均衡以及确定爬虫端和业务端的身份合法性，根据预定的分配规则为爬虫端分布相适配的数据收集服务器，当数据达到相适配的数据收集服务器的存储预设值时，主控制器控制所述爬虫端向其他未达存储预设值的数据收集服务器发送所爬取的数据。
一种大规模分布式数据管理系统及其方法

[发明专利]一种可扩展型分布式热拔插部署网络爬虫服务模型及其控制方法-CN202110604575.4在审
发明人：郑炎;陈耿生;萨冰珍;刘泳 -专利权人：中电福富信息科技有限公司
申请日： 2021-05-31 - 公布日： 2021-08-27 - 主分类号： G06F11/20 文献下载
摘要：本发明公开一种可扩展型分布式热拔插部署网络爬虫服务模型及其控制方法，模型包括主控服务器以及至少一台热备主控服务器，主控服务器分别连接任务下发中心和爬虫采集服务集群，任务下发中心用于发布采集任务至当前主控服务器；主控服务用于采集任务下发、动态调整爬虫采集服务集群的负载策略以及同步信息至热备主控服务器；热备主控服务器在主控服务宕机时接替主控服务器以负责采集任务下发、动态调整爬虫采集服务集群的负载策略以及同步信息本发明比起一般的分布式爬虫可以动态增减爬虫节点而不需要重启系统，同时每个爬虫节点互为热备，主控也有对应的热备服务，所以任何一个设备出现故障，对这个系统的稳定性没有影响。
一种扩展分布式热拔插部署网络爬虫服务模型及其控制方法

[发明专利]反爬虫系统及方法-CN201910938012.1在审
发明人：毛琴;谢强;陈晨 -专利权人：武汉极意网络科技有限公司
申请日： 2019-09-29 - 公布日： 2020-01-17 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种反爬虫系统及方法。该系统包括：域名解析服务器，用于从接收到的流量请求中提取目标服务器对应的域名，根据预存的IP地址映射表，确定域名对应的目标服务器的IP地址和反爬虫服务器集群的虚拟IP地址，并通过IP地址将流量请求发送至目标服务器，通过虚拟IP地址将流量请求发送至反爬虫服务器集群；反爬虫服务器集群，用于根据预设的流量请求分析标准对流量请求进行分析，并将分析结果发送至目标服务器；目标服务器，用于在接收到反爬虫服务器集群发送的分析结果之后通过该方式，有效阻止了基于爬虫技术非法爬取未授权平台数据的现象，大大降低了爬虫风险对未授权平台的业务影响。
流量请求目标服务器爬虫服务器集群发送虚拟IP地址未授权域名解析服务器爬虫技术爬虫系统平台数据业务影响爬虫映射表预存预设分析非法

[发明专利]一种测试网络爬虫的方法及系统-CN201410655647.8有效
发明人：王辉 -专利权人：阿里巴巴集团控股有限公司
申请日： 2014-11-18 - 公布日： 2019-03-26 - 主分类号： H04L12/26 文献下载
摘要：本申请实施例公开了一种测试网络爬虫的方法及系统，所述方法包括：第一服务器配置预设数量的顶级域名，并将所述顶级域名设置为指向第二服务器的IP地址；网络爬虫服务器读取所述顶级域名并根据所述顶级域名扩展出海量域名；网络爬虫服务器遍历所述海量域名，并针对每个域名向第二服务器发起抓取请求；第二服务器选取网站，并将所述网站提供给网络爬虫服务器抓取。本申请实施例公开的测试网络爬虫的方法及系统，可以在不对真实网站形成打扰的情况下，检测网络爬虫抓取海量网站页面时的工作性能。
一种测试网络爬虫方法系统

[发明专利]爬虫系统及方法-CN201910835029.4有效
发明人：宋海伟 -专利权人：上海携程商务有限公司
申请日： 2019-09-05 - 公布日： 2023-07-07 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了爬虫系统及方法，其中爬虫系统包括客户端和服务端；服务端包括负载均衡服务器、集群服务器；客户端用于根据预设爬取目标和目标网站的访问要求生成爬取参数，并发送爬取参数至负载均衡服务器；负载均衡服务器用于根据爬取参数生成爬虫任务，并分配爬虫任务至集群服务器；集群服务器用于根据爬虫任务爬取目标网站的目标数据。本发明的客户端用户只需要在客户端根据预设爬取目标和目标网站的访问要求设置爬取参数，生成的爬虫任务统一由集群服务器进行处理，使得系统易于维护，减少研发时长，避免重复研发工作量及降低研发成本。
爬虫系统方法

[发明专利]反爬虫系统及方法-CN201910937903.5在审
发明人：毛琴;谢强;陈晨 -专利权人：武汉极意网络科技有限公司
申请日： 2019-09-29 - 公布日： 2020-01-10 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种反爬虫系统及方法。该系统包括：域名解析服务器，用于从接收到的流量请求中提取目标服务器对应的域名，根据预存的IP地址映射表，确定域名对应的反爬虫服务器集群的虚拟IP地址，并通过虚拟IP地址将流量请求发送至反爬虫服务器集群；反爬虫服务器集群，用于根据预设的恶意请求判断标准确定流量请求是否是恶意请求，并在确定流量请求是恶意请求时处理流量请求，在确定流量请求不是恶意请求时，将流量请求发送至目标服务器；目标服务器，用于在接收到反爬虫服务器集群发送的流量请求后通过该方式，有效阻止了基于爬虫技术非法爬取未授权平台数据的现象，大大降低了爬虫风险对未授权平台的业务影响。
流量请求爬虫服务器集群目标服务器虚拟IP地址未授权发送域名解析服务器标准确定爬虫技术爬虫系统平台数据请求判断业务影响爬虫映射表预存预设非法

[发明专利]服务器、反爬虫系统和反爬虫验证方法-CN201610127493.4有效
发明人：崔广宇;李巍 -专利权人：携程计算机技术（上海）有限公司
申请日： 2016-03-07 - 公布日： 2019-04-09 - 主分类号： H04L29/06 文献下载
摘要：本发明提供一种服务器、反爬虫系统和反爬虫验证方法，服务器与一站点通讯连接，该服务器中存储有发布的用于对抗针对该站点的爬虫行为的反爬虫策略。反爬虫验证方法包括：S₁、该站点发送一到该服务器获取该反爬虫策略的信息至用户；S₂、该服务器在接收到用户发来的控制指令后将该反爬虫策略传送至该用户；S₃、该站点接收该用户发来的针对该反爬虫策略的解密结果，并将该解密结果发送给该服务器；S₄、该服务器对该解密结果进行验证，并将验证结果发送至该站点，该验证结果为该解密结果正确的信息或该解密结果错误的信息本发明能够大为减少测试流程、审批流程、发布流程以及发布后开关流程的处理时间，进而提高反爬虫策略的发布速度。
服务器爬虫系统验证方法

[发明专利]分布式爬虫的集中管理系统-CN202011240728.3在审
发明人：钟通;罗平 -专利权人：深圳市宝视佳科技有限公司
申请日： 2020-11-09 - 公布日： 2021-02-26 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例公开了一种分布式爬虫的集中管理系统，其中,该分布式爬虫的集中管理系统包括主机服务器和与该主机服务器通信的多台从机服务器，上述主机服务器和从机服务器使用Scrapy框架进行布局，且所述scrapy本发明通过采用分布式爬虫来进行数据爬取并对分布式爬虫通过管理平台进行管理，不仅实现了对爬虫任务的集中管理，还节省了人力资源，完善了对爬虫任务的管理。
分布式爬虫集中管理系统

[发明专利]爬虫业务测试方法、装置、计算机设备和存储介质-CN201910598627.4在审
发明人：刘丽珍 -专利权人：深圳壹账通智能科技有限公司
申请日： 2019-07-04 - 公布日： 2019-11-15 - 主分类号： G06F11/36 文献下载
摘要：本申请涉及测试技术领域，特别涉及一种爬虫业务测试方法、装置、计算机设备和存储介质。所述方法包括：获取爬虫测试信息，根据爬虫测试信息生成爬虫测试任务；将爬虫测试任务发送至测试服务器以进行爬虫测试；向测试服务器轮询各爬虫测试任务的爬虫模拟登录状态，并接收测试服务器返回的爬虫测试任务的登录状态码；当根据登录状态码判定出爬虫测试任务需要辅助验证操作时，根据登录状态码生成验证码获取提示，输出验证码获取提示；获取根据验证码获取提示得到的登录验证码，将登录验证码发送至测试服务器以继续进行爬虫测试。采用本方法能够提高爬虫测试工作效率。
爬虫测试登录状态测试服务器登录验证验证码提示测试工作效率测试技术领域测试信息生成计算机设备测试信息存储介质接收测试任务发送输出验证业务测试码生成轮询服务器判定发送验证返回申请

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条