“网络爬虫 ”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果857290个，建议您升级VIP下载更多相关专利

[发明专利]一种监控网络爬虫的方法、装置和系统-CN201611025201.2在审
发明人：邱继钊;王洪添 -专利权人：山东浪潮云服务信息科技有限公司
申请日： 2016-11-16 - 公布日： 2017-05-31 - 主分类号： H04L12/26 文献下载
摘要：本发明提供了一种监控网络爬虫的方法、装置和系统，该方法包括通过监控外部的网络爬虫，当监控到外部的网络爬虫运行时，记录外部的网络爬虫产生的抓取痕迹，通过将网络爬虫产生的抓取痕迹与预设的抓取规则进行比对，根据对比结果，能够确定外部的网络爬虫的运行状态。由于该监控网络爬虫的方法能够将网络爬虫的抓取痕迹与预设的抓取规则进行比对，判断出网络爬虫的运行状态，从而实现了对网络爬虫的工作状态的监控。
一种监控网络爬虫方法装置系统

[发明专利]一种网络爬虫运行异常监控方法和系统-CN201310152396.7有效
发明人：周东;廖耀华 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2013-04-27 - 公布日： 2013-08-14 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种网络爬虫运行异常监控方法，该方法包括以下步骤：检测网络爬虫运行状态；判断网络爬虫运行状态是否存在异常；当爬虫运行状态出现异常时，进行异常报警。本发明还提供了一种网络爬虫运行异常监控系统，该系统包括网络爬虫运行状态检测单元、状态判断单元、报警单元。本发明提供的网络爬虫运行异常监控方法和系统能够及时检测出网络爬虫的异常运行状态，并且发出报警信息，提高了网络爬虫的运行可靠性。
一种网络爬虫运行异常监控方法系统

[发明专利]网络爬虫平台-CN202010748786.0在审
发明人：刘智雄;吴张民;赵梓辰;林宜谦 -专利权人：国际商业机器公司
申请日： 2020-07-30 - 公布日： 2021-02-09 - 主分类号： G06F16/951 文献下载
摘要：用于实现一个网络爬虫平台的系统、方法和计算机程序产品，该网络爬虫平台包括一个或多个联合工作的容器化网络爬虫程序，以协同索引网络资源，减少由多个网络爬虫独立索引重叠的网络资源带来的冗余。平台提供了一个URL命名空间，允许爬虫向平台注册，并为其他爬虫创建URL端点，以便发现已注册到平台的爬虫并识别以前索引的网络资源。该平台为爬虫提供了爬虫通信以及数据和元数据的交换，这些数据和元数据是从以前被索引了的网络资源中获得的，从而允许爬虫共享现有的数据或元数据，而不必直接对网络资源爬网。当网络爬虫在不同地理位置的数据中心之间移动时，爬虫程序注册的URL被映射到后续的IP地址，从而允许注册到平台的其他爬虫进行透明和连续的识别。
网络爬虫平台

[发明专利]网络爬虫系统的测试方法及装置、存储介质、电子设备-CN201910444805.8在审
发明人：吕小立 -专利权人：深圳壹账通智能科技有限公司
申请日： 2019-05-24 - 公布日： 2019-10-15 - 主分类号： G06F11/30 文献下载
摘要：本公开涉及一种网络爬虫系统的测试方法及装置，属于测试工具技术领域，该方法包括：当接收到测试请求信号时，由系统任务数据库中获取爬虫任务，并将该爬虫任务发送至爬虫任务分发机；当该爬虫任务分发机向网络爬虫机器集群分发任务时，获取网络爬虫机器集群中的每一爬虫机器的总工作时间；根据每一爬虫机器的总工作时间，以得到该网络爬虫机器集群中的爬虫机器的工作量是否均衡的判断结果。该方法提高了网络爬虫系统的测试效率，且测试结果准确。
爬虫网络爬虫系统机器集群网络爬虫测试方法及装置任务分发测试请求信号任务数据库测试工具测试效率存储介质电子设备判断结果任务发送工作量分发均衡

[发明专利]网络爬虫处置方法、装置、服务器及存储介质-CN202111441142.8在审
发明人：何嘉杰;邓玉;江魁栋 -专利权人：中国建设银行股份有限公司
申请日： 2021-11-30 - 公布日： 2022-04-26 - 主分类号： H04L9/40 文献下载
摘要：本申请涉及一种网络爬虫处置方法、装置、服务器和存储介质。该方法包括：对网络日志数据进行分析，获取网络日志数据中的预设字段，通过预设字段，确定网络日志数据所属的网络爬虫类别，根据网络日志数据所属的网络爬虫类别，更新网络爬虫的地址名单。采用本方法能够对待处置网络爬虫相关的网络日志数据进行处理，先确定网络日志数据所属的网络爬虫类别，进一步根据网络日志数据所属的网络爬虫类别去更新网络爬虫的地址名单，避免了对网络爬虫在不分类的情况下进行统一处置所存在的问题
网络爬虫处置方法装置服务器存储介质

[发明专利]网络爬虫的识别方法及装置、计算机可读存储介质-CN202010810543.5有效
发明人：肖军;左子娜;欧怀谷;王枭卿;张盼 -专利权人：云盾智慧安全科技有限公司
申请日： 2020-08-13 - 公布日： 2021-09-10 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例涉及网络安全技术领域，公开了一种网络爬虫的识别方法及装置、计算机可读存储介质，该方法包括：向目标客户端植入前端数据获取模块，该前端数据获取模块用于获取目标客户端预设数量种类的前端数据；进而接收前端数据获取模块回传的目标前端数据；若目标前端数据的种类数量等于预设数量，判断目标前端数据是否满足预设的网络爬虫数据特征，该网络爬虫数据特征表征网络爬虫的操作规律；若目标前端数据满足预设的网络爬虫数据特征，确定目标客户端为网络爬虫。实施本申请实施例公开的网络爬虫的识别方法，能够识别出网络中的网络爬虫，以避免网络爬虫带来的危害。
网络爬虫识别方法装置计算机可读存储介质

[发明专利]网络爬虫过滤方法及其设备-CN202111391960.1在审
发明人：周庆国;官却多杰;武强;索南多杰;公保加羊;拉玛杰;航尖才让;下吾卓玛;勒毛措;德青措;曼拉太;多杰仁青 -专利权人：海南藏族自治州藏文信息技术研究中心
申请日： 2021-11-19 - 公布日： 2022-03-01 - 主分类号： G06F16/951 文献下载
摘要：提供了网络爬虫过滤方法及其设备。提供了网络爬虫过滤方法及其设备。搜索引擎的性能一定程度上依赖网络爬虫(网络内容获取)的能力。本申请提出(1)网页向量表示方法；提出基于网页向量相似度的爬虫‑过滤算法用于爬取过滤待爬取的网页。通过实验表明：爬虫‑过滤算法在网络爬虫过程中，能够在覆盖合理的内容的同时绕过低质量或无关内容。优化了网络爬虫质量。
网络爬虫过滤方法及其设备

[发明专利]一种通用的网络爬虫模型实现方法及系统-CN201710846672.8在审
发明人：韩吉威 -专利权人：湖北省楚天云有限公司
申请日： 2017-09-15 - 公布日： 2017-11-24 - 主分类号： G06F17/30 文献下载
摘要：本申请公开了一种通用的网络爬虫模型实现方法及系统；其中的方法主要包括获取待处理的爬虫爬取任务；以统一资源定位符URL为爬取任务执行粒度将所述爬虫爬取任务转化为多个爬虫爬取任务对象；由针对所述多个爬虫爬取任务对象而动态创建的至少一个网络爬虫实例针对所述多个爬虫爬取任务对象执行网络数据爬取操作；针对各网络爬虫实例爬取到的对应同一爬虫爬取任务的网络数据进行整理后，存储于数据集合中。
一种通用网络爬虫模型实现方法系统

[发明专利]一种网络爬虫方法及系统-CN201810622645.7在审
发明人：刘畅;毋涛 -专利权人：中国联合网络通信集团有限公司
申请日： 2018-06-15 - 公布日： 2018-08-17 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种网络爬虫方法及系统，属于网络搜索技术领域，其可至少部分解决现有的网络爬虫的爬取效率低以及网络爬虫不可扩容或者缩容的问题。本发明的网络爬虫方法包括：根据任务在云端创建多个爬虫节点；将第一信息分配至多个爬虫节点，第一信息包括根据任务提取的信息；记录各爬虫节点的第一信息的分配状态；收集多个爬虫节点发出的第二信息，第二信息包括爬虫节点爬取的信息通过根据任务在云端快速创建多个爬虫节点，可以根据任务的规模来确定爬取资源的多少，从而使得该网络爬虫系统自动进行扩容或者缩容，进而提高爬取的效率，同时也提高资源的利用率。
爬虫节点网络爬虫云端扩容缩容网络爬虫系统分配状态任务提取网络搜索信息分配创建记录

[发明专利]一种大数据防爬虫处理方法及云平台系统-CN202110306214.1有效
发明人：黄超 -专利权人：上海新诤信知识产权服务股份有限公司
申请日： 2021-03-23 - 公布日： 2021-10-01 - 主分类号： H04L29/06 文献下载
摘要：本发明涉及区块链大数据处理技术领域，具体涉及一种大数据防爬虫处理方法及云平台系统。本发明由于分别在大数据云服务器侧以及大数据业务用户终端侧部署了实时网络爬虫监测网络，且不同的实时网络爬虫监测网络是基于初始业务操作数据集、初始业务响应数据集以及设定网络训练条件训练得到的，因而能够通过两个不同的实时网络爬虫监测网络将不同大数据业务用户终端的业务操作和业务响应考虑在内，不仅可以确保大数据业务用户终端对待监测业务互动事项的准确的网络爬虫监测，还能够确保针对网络爬虫监测所确定的待监测业务互动事项的网络爬虫防护策略的爬虫防护性能，提高网络爬虫监测和防护的效率和可信度。
一种数据爬虫处理方法平台系统

[发明专利]可视化网络爬虫方法及装置-CN201810889341.7在审
发明人：刘振华;徐玉立;刘幸明 -专利权人：广州金猫信息技术服务有限公司
申请日： 2018-08-07 - 公布日： 2018-12-21 - 主分类号： G06F17/30 文献下载
摘要：本发明实施例提供一种可视化网络爬虫方法及装置。所述可视化网络爬虫方法，包括：在指定浏览器中启动一目标网站；在接收到选择操作后，显示网络爬虫控制界面，所述控制界面中显示有操作台，所述指定浏览器中安装有网络爬虫插件；监测到在所述操作台中的新增操作后，显示新增的网络爬虫界面，所述网络爬虫界面中包括工具箱栏，所述工具箱栏中包括多个网络流程；接收在所述工具箱栏中的选择操作后，根据所述选择操作形成爬虫流程；将所述爬虫流程进行存储。
网络爬虫工具箱选择操作可视化操作台控制界面爬虫浏览器目标网站网络流程插件存储监测

[发明专利]一种分布式爬虫系统及其实现方法-CN201911095920.5在审
发明人：李亚萍;侯林勇;刘婉莹;王俊;张亮;杨坤;方程;袁率 -专利权人：贵州小叮当信息技术有限公司
申请日： 2019-11-11 - 公布日： 2020-04-24 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种分布式爬虫系统及其实现方法，包括登录窗口、日常空间和工作空间，登录窗口的输出端分别与日常空间和工作空间的输入端连接，日常空间和工作空间的输出端分别与通用网络爬虫系统和聚焦网络爬虫系统的输入端连接，本发明涉及爬虫系统技术领域。该分布式爬虫系统及其实现方法，通过设置日常空间和工作空间两种模式，并设置通用网络爬虫系统和聚焦网络爬虫系统分别搭载在两种模式上，日常空间可正常检索所有信息，而聚焦网络爬虫系统可正对性的采集与工作相关的信息，两种模式随意切换，互不干扰，且聚焦网络爬虫系统是依附于通用网络爬虫系统的主体结构使用，只需将部分程序文件替换，则可实现两种模式的切换。
一种分布式爬虫系统及其实现方法

[发明专利]一种智能爬虫任务的方法及装置-CN201711106956.X在审
发明人：郭建辉 -专利权人：天脉聚源（北京）传媒科技有限公司
申请日： 2017-11-10 - 公布日： 2018-04-06 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种智能爬虫任务的方法及装置。所述智能爬虫任务的方法，包括根据预先配置完成的第一爬虫规则生成第一爬虫任务；根据所述第一爬虫任务获取目标网络链接；将所述目标网络链接作为第二爬虫规则的输入；根据所述第二爬虫规则生成的第二爬虫任务存储相应的数据内容本发明通过智能化的爬虫任务管理，可获取到两次及两次以上的网络跳转之后的数据内容，从而提升了爬虫任务的智能度。
一种智能爬虫任务方法装置

[发明专利]一种网络爬虫方法及装置-CN201510609537.2有效
发明人：罗杰;梁家盟 -专利权人：北京云知声信息技术有限公司
申请日： 2015-09-22 - 公布日： 2019-08-16 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网络爬虫方法及装置，用于解除网络爬虫任务中相邻执行阶段之间的耦合性，从而实现网络爬虫的每个执行阶段的模块化。所述方法包括：获取网络爬虫任务的配置文件，配置文件包括网络爬虫任务的每一个执行阶段的标识、每一个执行阶段的执行顺序及每一个执行阶段对应的配置参数；根据每一个执行阶段的标识以及每一个执行阶段的执行顺序，确定网络爬虫的当前执行阶段该技术方案解除了网络爬虫任务中相邻执行阶段之间的耦合性，使每个执行阶段的执行更加模块化，提高了网络爬虫的效率。
一种网络爬虫方法装置

[发明专利]网络爬虫识别方法和装置-CN201510250481.6有效
发明人：周高明 -专利权人：阿里巴巴集团控股有限公司
申请日： 2015-05-15 - 公布日： 2019-11-05 - 主分类号： G06F16/951 文献下载
摘要：本申请提出一种网络爬虫识别方法和装置，该网络爬虫识别方法包括：接收客户端在网页渲染完毕后发送的所述网页的图片和所述网页的URL；根据所述URL获取样本图片；根据相似度与预设阈值的比较，识别所述客户端是否为网络爬虫本申请对网络爬虫识别的可靠性较高，不影响正常用户浏览网页的流畅性，并且即便网络爬虫破解了上述识别方法，也会极大的消耗网络爬虫自身的资源，降低网络爬虫访问网页的频率。
网络爬虫识别方法装置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条