“网络爬虫技术”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果10062052个，建议您升级VIP下载更多相关专利

[发明专利]网络爬虫系统的测试方法及装置、存储介质、电子设备-CN201910444805.8在审
发明人：吕小立 -专利权人：深圳壹账通智能科技有限公司
申请日： 2019-05-24 - 公布日： 2019-10-15 - 主分类号： G06F11/30 文献下载
摘要：本公开涉及一种网络爬虫系统的测试方法及装置，属于测试工具技术领域，该方法包括：当接收到测试请求信号时，由系统任务数据库中获取爬虫任务，并将该爬虫任务发送至爬虫任务分发机；当该爬虫任务分发机向网络爬虫机器集群分发任务时，获取网络爬虫机器集群中的每一爬虫机器的总工作时间；根据每一爬虫机器的总工作时间，以得到该网络爬虫机器集群中的爬虫机器的工作量是否均衡的判断结果。该方法提高了网络爬虫系统的测试效率，且测试结果准确。
爬虫网络爬虫系统机器集群网络爬虫测试方法及装置任务分发测试请求信号任务数据库测试工具测试效率存储介质电子设备判断结果任务发送工作量分发均衡

[发明专利]网络爬虫的识别方法及装置、计算机可读存储介质-CN202010810543.5有效
发明人：肖军;左子娜;欧怀谷;王枭卿;张盼 -专利权人：云盾智慧安全科技有限公司
申请日： 2020-08-13 - 公布日： 2021-09-10 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例涉及网络安全技术领域，公开了一种网络爬虫的识别方法及装置、计算机可读存储介质，该方法包括：向目标客户端植入前端数据获取模块，该前端数据获取模块用于获取目标客户端预设数量种类的前端数据；进而接收前端数据获取模块回传的目标前端数据；若目标前端数据的种类数量等于预设数量，判断目标前端数据是否满足预设的网络爬虫数据特征，该网络爬虫数据特征表征网络爬虫的操作规律；若目标前端数据满足预设的网络爬虫数据特征，确定目标客户端为网络爬虫。实施本申请实施例公开的网络爬虫的识别方法，能够识别出网络中的网络爬虫，以避免网络爬虫带来的危害。
网络爬虫识别方法装置计算机可读存储介质

[发明专利]一种网络爬虫方法及系统-CN201810622645.7在审
发明人：刘畅;毋涛 -专利权人：中国联合网络通信集团有限公司
申请日： 2018-06-15 - 公布日： 2018-08-17 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种网络爬虫方法及系统，属于网络搜索技术领域，其可至少部分解决现有的网络爬虫的爬取效率低以及网络爬虫不可扩容或者缩容的问题。本发明的网络爬虫方法包括：根据任务在云端创建多个爬虫节点；将第一信息分配至多个爬虫节点，第一信息包括根据任务提取的信息；记录各爬虫节点的第一信息的分配状态；收集多个爬虫节点发出的第二信息，第二信息包括爬虫节点爬取的信息通过根据任务在云端快速创建多个爬虫节点，可以根据任务的规模来确定爬取资源的多少，从而使得该网络爬虫系统自动进行扩容或者缩容，进而提高爬取的效率，同时也提高资源的利用率。
爬虫节点网络爬虫云端扩容缩容网络爬虫系统分配状态任务提取网络搜索信息分配创建记录

[发明专利]一种大数据防爬虫处理方法及云平台系统-CN202110306214.1有效
发明人：黄超 -专利权人：上海新诤信知识产权服务股份有限公司
申请日： 2021-03-23 - 公布日： 2021-10-01 - 主分类号： H04L29/06 文献下载
摘要：本发明涉及区块链大数据处理技术领域，具体涉及一种大数据防爬虫处理方法及云平台系统。本发明由于分别在大数据云服务器侧以及大数据业务用户终端侧部署了实时网络爬虫监测网络，且不同的实时网络爬虫监测网络是基于初始业务操作数据集、初始业务响应数据集以及设定网络训练条件训练得到的，因而能够通过两个不同的实时网络爬虫监测网络将不同大数据业务用户终端的业务操作和业务响应考虑在内，不仅可以确保大数据业务用户终端对待监测业务互动事项的准确的网络爬虫监测，还能够确保针对网络爬虫监测所确定的待监测业务互动事项的网络爬虫防护策略的爬虫防护性能，提高网络爬虫监测和防护的效率和可信度。
一种数据爬虫处理方法平台系统

[发明专利]一种分布式爬虫系统及其实现方法-CN201911095920.5在审
发明人：李亚萍;侯林勇;刘婉莹;王俊;张亮;杨坤;方程;袁率 -专利权人：贵州小叮当信息技术有限公司
申请日： 2019-11-11 - 公布日： 2020-04-24 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种分布式爬虫系统及其实现方法，包括登录窗口、日常空间和工作空间，登录窗口的输出端分别与日常空间和工作空间的输入端连接，日常空间和工作空间的输出端分别与通用网络爬虫系统和聚焦网络爬虫系统的输入端连接，本发明涉及爬虫系统技术领域。该分布式爬虫系统及其实现方法，通过设置日常空间和工作空间两种模式，并设置通用网络爬虫系统和聚焦网络爬虫系统分别搭载在两种模式上，日常空间可正常检索所有信息，而聚焦网络爬虫系统可正对性的采集与工作相关的信息，两种模式随意切换，互不干扰，且聚焦网络爬虫系统是依附于通用网络爬虫系统的主体结构使用，只需将部分程序文件替换，则可实现两种模式的切换。
一种分布式爬虫系统及其实现方法

[发明专利]一种网络爬虫方法及装置-CN201510609537.2有效
发明人：罗杰;梁家盟 -专利权人：北京云知声信息技术有限公司
申请日： 2015-09-22 - 公布日： 2019-08-16 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网络爬虫方法及装置，用于解除网络爬虫任务中相邻执行阶段之间的耦合性，从而实现网络爬虫的每个执行阶段的模块化。所述方法包括：获取网络爬虫任务的配置文件，配置文件包括网络爬虫任务的每一个执行阶段的标识、每一个执行阶段的执行顺序及每一个执行阶段对应的配置参数；根据每一个执行阶段的标识以及每一个执行阶段的执行顺序，确定网络爬虫的当前执行阶段该技术方案解除了网络爬虫任务中相邻执行阶段之间的耦合性，使每个执行阶段的执行更加模块化，提高了网络爬虫的效率。
一种网络爬虫方法装置

[发明专利]网络爬虫检测方法、装置、存储介质及电子设备-CN201911314499.2有效
发明人：陈亮;钟嘉琳 -专利权人：贝壳技术有限公司
申请日： 2019-12-19 - 公布日： 2022-04-26 - 主分类号： H04L9/40 文献下载
摘要：本申请公开了一种网络爬虫检测方法、装置、存储介质及电子设备，涉及互联网技术。并根据所述当前访问数据及所述历史访问数据，确定所述目标请求端对所述受保护网站中的页面的访问重复率；根据所述访问重复率，确定网站服务端分别执行至少一种访问策略时各自的收益值；根据所述至少一种访问策略的收益值，确定所述当前访问请求的爬虫概率；根据所述爬虫概率与预设爬虫概率阈值，确定所述当前访问请求是否是网络爬虫发出的访问请求。本申请可以有效检测采用低端爬虫技术至高端爬虫技术的网络爬虫，有效提升对网络爬虫的检测能力。
网络爬虫检测方法装置存储介质电子设备

[发明专利]一种监控网络爬虫的方法、装置和系统-CN201611025201.2在审
发明人：邱继钊;王洪添 -专利权人：山东浪潮云服务信息科技有限公司
申请日： 2016-11-16 - 公布日： 2017-05-31 - 主分类号： H04L12/26 文献下载
摘要：本发明提供了一种监控网络爬虫的方法、装置和系统，该方法包括通过监控外部的网络爬虫，当监控到外部的网络爬虫运行时，记录外部的网络爬虫产生的抓取痕迹，通过将网络爬虫产生的抓取痕迹与预设的抓取规则进行比对，根据对比结果，能够确定外部的网络爬虫的运行状态。由于该监控网络爬虫的方法能够将网络爬虫的抓取痕迹与预设的抓取规则进行比对，判断出网络爬虫的运行状态，从而实现了对网络爬虫的工作状态的监控。
一种监控网络爬虫方法装置系统

[发明专利]一种基于隐马尔可夫模型的恶意网络爬虫检测方法-CN201710281763.1在审
发明人：罗日红;蔡君 -专利权人：广东亿荣电子商务有限公司;广东技术师范学院
申请日： 2017-04-26 - 公布日： 2017-07-18 - 主分类号： H04L29/06 文献下载
摘要：本发明提出一种基于隐马尔可夫模型的恶意网络爬虫检测方法，属于计算机软件的技术领域。恶意网络爬虫在未经允许的情况下恶意抓取网站的敏感信息以及隐私数据，同时其野蛮式的流量行为模式也会对网站的服务质量造成不良的影响。现有网络爬虫检测方法不能准确地识别出恶意网络爬虫，误判率较高。因此，本发明提出一种新的基于隐马尔可夫模型的恶意网络爬虫检测方法，具体包括（1）基于HMM的用户HTTP流量建模，（2）基于HTTP的网络爬虫行为建模。
一种基于隐马尔可夫模型恶意网络爬虫检测方法

[发明专利]一种基于行为平衡度的垂直类网络爬虫检测识别方法-CN202011306830.9有效
发明人：刘兰;刘浪洲;何康健 -专利权人：广东技术师范大学
申请日： 2020-11-19 - 公布日： 2022-08-30 - 主分类号： H04L9/40 文献下载
摘要：一种基于行为平衡度的垂直类网络爬虫检测识别方法，属于计算机软件的技术领域。垂直类网络爬虫是一种针对网站数据进行定点定向爬取的网络程序，相比于传统的网络爬虫，这种爬虫的行为模式更加隐秘，对网站服务器资源占用较低，但是其行为会严重危害到网站的信息安全，造成极大的数字资产损失。现有的网络爬虫检测方式对高频恶意爬虫流量检测效果明显，对垂直类爬虫检测效果不佳，识别准确率较低。因此，本发明提出一种基于行为平衡度的垂直类网络爬虫检测识别方法，具体包括：（1）基于网站页面信息量的合理停滞时间建模；（2）基于不同跃迁深度访问的行为平衡度建模。
一种基于行为平衡垂直网络爬虫检测识别方法

[发明专利]一种面向对等网络的可定义搜索重点的网络爬虫方法-CN201610563533.X在审
发明人：仇伟民;戴鸿君;于治楼 -专利权人：浪潮集团有限公司
申请日： 2016-07-18 - 公布日： 2016-12-07 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种面向对等网络的可定义搜索重点的网络爬虫方法，属于计算机网络信息检索领域，本发明要解决的技术问题为如何将对等网络和网络爬虫结合，实现可定义搜索重点的网络爬虫对特定领域和主题实现描述的难度较小而且准确度较高，采用的技术方案为：该方法是利用基于站点页面链接结构的链接导航技术来提高主题信息的抓取准确率和速度，采用易于操作的主题描述来实现高可定制性的网络爬虫，通过配置文件来实现可定制，最终构建出一个可控性强、资源消耗小、数据采集准确性高的轻量级聚焦网络爬虫，以满足P2P搜索的需求。
一种面向对等网络可定义搜索重点爬虫方法

[发明专利]一种基于分布式的网络自适应分类爬虫方法-CN202010868327.6在审
发明人：王之琼;信俊昌;汪宇;闫东蕾;雷盛楠;王司亓;唐俊日;隋玲 -专利权人：东北大学
申请日： 2020-08-26 - 公布日： 2020-11-24 - 主分类号： G06F16/951 文献下载
摘要：本发明公开一种基于分布式的网络自适应分类爬虫方法，属于网络爬虫和反爬虫技术领域，该方法首先是采用支持向量基SVM对各信息源网站进行反爬虫技术的精确分类；然后根据反爬虫手段的分类结果选择与之相抗衡的爬虫策略，最后基于分布式的自适应爬虫技术进行数据爬取，对分类模型进行评估。这样根据反爬虫技术的不同分类，能更加精准有效的采用与之相抗衡的爬虫技术破解，快速获取信息源的数据。极大程度上减少了不必要的测试被反爬手段规避掉的风险。
一种基于分布式网络自适应分类爬虫方法

[发明专利]一种基于聚焦网络爬虫抓取数据的营商环境态势分析系统-CN202211241315.6在审
发明人：陈迪;赵洪涛;于佳平 -专利权人：黑龙江资海科技集团有限公司
申请日： 2022-10-11 - 公布日： 2022-12-27 - 主分类号： G06Q30/02 文献下载
摘要：本发明提出一种基于聚焦网络爬虫抓取数据的营商环境态势分析系统，属于数据处理技术领域。包括：网络爬虫模块、数据处理模块、信息检索模块和数据库；网络爬虫模块、数据处理模块、信息检索模块和数据库依次连接；所述网络爬虫模块用于网站数据的抓取；包括特征网页地址集URLs、URLs队列和网络爬虫单元；所述数据处理模块用于对采集到的网络数据进行特征的提取，并将结果存入数据库；所述信息检索模块根据数据库中存储的特征信息，实现地区、行业多维度的全文和个性化搜索。解决现有技术中存在无法有效的对具体平台进行特定数据进行抓取的技术问题。
一种基于聚焦网络爬虫抓取数据环境态势分析系统

[发明专利]一种网络爬虫运行异常监控方法和系统-CN201310152396.7有效
发明人：周东;廖耀华 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2013-04-27 - 公布日： 2013-08-14 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种网络爬虫运行异常监控方法，该方法包括以下步骤：检测网络爬虫运行状态；判断网络爬虫运行状态是否存在异常；当爬虫运行状态出现异常时，进行异常报警。本发明还提供了一种网络爬虫运行异常监控系统，该系统包括网络爬虫运行状态检测单元、状态判断单元、报警单元。本发明提供的网络爬虫运行异常监控方法和系统能够及时检测出网络爬虫的异常运行状态，并且发出报警信息，提高了网络爬虫的运行可靠性。
一种网络爬虫运行异常监控方法系统

[发明专利]网络爬虫方法、装置、设备及介质-CN202010174191.9在审
发明人：戴玲 -专利权人：平安科技（深圳）有限公司
申请日： 2020-03-12 - 公布日： 2020-08-07 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网络爬虫方法、装置、设备及介质，涉及金融科技技术领域，该网络爬虫方法包括：在检测到爬虫指令时，开始爬虫部署在服务器端的预设应用对应的各个页面；在爬虫过程中，每爬虫一个页面后获取该被爬虫页面的第一MD5编码值，并将该被爬虫页面的第一MD5编码值保存在预设静态内容列表中，以避免重复爬虫；获取爬虫得到的各个页面对应的页面内容，并将所述各个页面对应的页面内容发送给预设索引应用，以得到索引文件。本发明解决现有爬虫组件爬虫过程中，爬虫易因陷入死循环而易致使服务器崩溃的技术问题。
网络爬虫方法装置设备介质

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条