“爬虫工具”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果592592个，建议您升级VIP下载更多相关专利

[发明专利]一种测试网络爬虫的方法及系统-CN201410655647.8有效
发明人：王辉 -专利权人：阿里巴巴集团控股有限公司
申请日： 2014-11-18 - 公布日： 2019-03-26 - 主分类号： H04L12/26 文献下载
摘要：本申请实施例公开了一种测试网络爬虫的方法及系统，所述方法包括：第一服务器配置预设数量的顶级域名，并将所述顶级域名设置为指向第二服务器的IP地址；网络爬虫服务器读取所述顶级域名并根据所述顶级域名扩展出海量域名；网络爬虫服务器遍历所述海量域名，并针对每个域名向第二服务器发起抓取请求；第二服务器选取网站，并将所述网站提供给网络爬虫服务器抓取。本申请实施例公开的测试网络爬虫的方法及系统，可以在不对真实网站形成打扰的情况下，检测网络爬虫抓取海量网站页面时的工作性能。
一种测试网络爬虫方法系统

[发明专利]一种分布式垂直业务搜索爬虫框架-CN201811208977.7在审
发明人：邓炽成 -专利权人：珠海市智图数研信息技术有限公司
申请日： 2018-10-17 - 公布日： 2018-12-21 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种分布式垂直业务搜索爬虫框架，具体步骤如下：步骤一：采用爬虫静态分布形式将同一目标的爬虫按照配置，复制到不同的网络计算机上，然后采用不同IP资源发出爬取请求；步骤二：目标页面URL通过消息队列管道汇聚到中心库；步骤三：中心库负载程序将URL进行调度，并且通过消息队列管道推送到多个网络计算机终端，由监听爬虫进行动态调度执行URL下载任务。本发明利用分布式垂直业务搜索爬虫，使用更多的IP资源来合理编排任务，将爬取任务分散到网络多台计算机进行，对高资源消耗的网络爬虫来说是提供了一种低成本的解决方案，因此分布式爬虫是在垂直业务搜索中，实现持续无间断爬取的很好的技术手段
爬虫业务搜索垂直消息队列中心库网络计算机终端多台计算机动态调度分布形式技术手段目标页面网络计算网络爬虫资源消耗低成本框架本无间断监听编排复制调度汇聚配置网络

[发明专利]一种通过可视化配置进行云端数据采集的方法、装置及系统-CN201810936001.5在审
发明人：余刚 -专利权人：成都市映潮科技股份有限公司
申请日： 2018-08-16 - 公布日： 2018-12-28 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种通过可视化配置进行云端数据采集的方法、装置及系统，方法应用于服务器端和云端，服务器端包括任务生成器、采集内容选择器和任务调度器；云端包括若干爬虫节点，各爬虫节点通过在任务调度器上注册与服务器端通信，在使用时，由于需要抓取的网站只需要配置入口网址，不需要编写任何代码，所有需要的代码都可以通过页面可视化配置生成，并且所需的配置和相关数据都是远程获取的，无需对爬虫节点进行复杂的配置，再加上任务调度器与爬虫节点无需双向匹配，使得整个爬虫系统横向扩展爬虫节点数量的能力很强，且很方便，解决了传统爬虫针对每个网站都需要单独编写程序进行数据爬取，且效率较慢的问题。
爬虫节点云端任务调度器配置服务器端可视化装置及系统数据采集网站抓取内容选择器任务生成器爬虫编写程序横向扩展爬虫系统入口网址远程获取匹配页面采集通信

[发明专利]基于Web访问日志的爬虫行为识别方法及装置-CN201810889455.1在审
发明人：樊恒阳;潘钧康 -专利权人：北京神州绿盟信息安全科技股份有限公司;北京神州绿盟科技有限公司
申请日： 2018-08-07 - 公布日： 2019-01-18 - 主分类号： G06F21/55 文献下载
摘要：本申请中公开了一种基于Web访问日志的爬虫行为识别方法及装置。该通过获取待识别访问源的访问日志，根据访问日志中的访问时间、访问URL和访问URL对应的引用URL，获取待识别访问源所访问独立页面的访问特征信息，其中独立页面为访问URL中出度不为0的访问URL所对应的页面，当访问特征信息与预设爬虫访问特征信息匹配时，确定待识别访问源具有爬虫行为。可见，本申请通过获取的访问日志，分析得到待识别的访问源的访问特征信息，基于得到的访问特征信息与预设爬虫访问特征信息进行比较，确定待识别访问源具有爬虫行为，以使对具有爬虫行为的访问源中的用户代理标识进行跟踪或拦截，提高了识别网络爬虫行为的准确率和安全性。
爬虫特征信息访问源访问访问日志行为识别预设独立页面网络爬虫用户代理准确率出度申请页面匹配拦截引用跟踪分析

[发明专利]爬虫处理方法、装置、服务器及计算机可读存储介质-CN201910965767.0在审
发明人：杜晓宇 -专利权人：平安科技（深圳）有限公司
申请日： 2019-10-12 - 公布日： 2020-02-28 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例提供了一种爬虫处理方法、装置、服务器及计算机可读存储介质，该方法包括：接收终端发送的对指定抓取任务的任务启动指令，该任务启动指令包括该指定抓取任务的第一配置记录、第二配置记录、第三配置记录；根据第一配置记录包括的种子信息和该第二配置记录包括的针对该指示至少一类待抓取页面中每类待抓取页面的爬虫配置信息执行爬虫操作，得到该每类待抓取页面对应的爬虫数据集合；根据第三配置记录包括的每类待抓取页面对应的解析规则，从该每类待抓取页面对应的爬虫数据集合包括的各页面中解析出目标数据。采用本申请，可以使得爬虫过程更具针对性，并可以提高可扩展性，提升爬虫效率。
爬虫处理方法装置服务器计算机可读存储介质

[发明专利]一种可扩展型分布式热拔插部署网络爬虫服务模型及其控制方法-CN202110604575.4在审
发明人：郑炎;陈耿生;萨冰珍;刘泳 -专利权人：中电福富信息科技有限公司
申请日： 2021-05-31 - 公布日： 2021-08-27 - 主分类号： G06F11/20 文献下载
摘要：本发明公开一种可扩展型分布式热拔插部署网络爬虫服务模型及其控制方法，模型包括主控服务器以及至少一台热备主控服务器，主控服务器分别连接任务下发中心和爬虫采集服务集群，任务下发中心用于发布采集任务至当前主控服务器；主控服务用于采集任务下发、动态调整爬虫采集服务集群的负载策略以及同步信息至热备主控服务器；热备主控服务器在主控服务宕机时接替主控服务器以负责采集任务下发、动态调整爬虫采集服务集群的负载策略以及同步信息本发明比起一般的分布式爬虫可以动态增减爬虫节点而不需要重启系统，同时每个爬虫节点互为热备，主控也有对应的热备服务，所以任何一个设备出现故障，对这个系统的稳定性没有影响。
一种扩展分布式热拔插部署网络爬虫服务模型及其控制方法

[发明专利]一种多源科创资源数据采集方法-CN202111505650.8在审
发明人：刘啸;杨昀 -专利权人：江苏宝和数据股份有限公司
申请日： 2021-12-10 - 公布日： 2022-01-11 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种多源科创资源数据采集方法，包括爬虫模块、路由模块和动态页面解析模块；爬虫模块是指一个爬虫模块的集群中，会包含多个爬虫模块，爬虫模块主要的两个功能是页面下载和页面信息提取；路由模块的主要功能是对整个分布式网页爬虫系统进行任务的接受、管理、分发，任务的负载均衡，爬虫服务和动态页面解析服务节点的管理以及系统内心跳包的发送；动态页面解析模块是指以集群的模式针对动态页面进行页面解析，针对多源异构的科创数据，提出了一种多源科创数据的采集方法
一种多源科创资源数据采集方法

[发明专利]一种反爬虫处理方法、系统、存储介质及电子设备-CN202111299496.3在审
发明人：梁志勇 -专利权人：京东科技信息技术有限公司
申请日： 2021-11-04 - 公布日： 2022-01-21 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种反爬虫处理方法、系统、存储介质及电子设备，当接收到网络爬虫访问预先生成的各个隐蔽链接中的任意一个隐蔽链接产生的访问请求时，获取网络爬虫访问隐蔽链接时所使用的IP，各个隐蔽链接隐藏于HTML通过上述方案，在网页中随机插入隐蔽链接，通过隐蔽链接实时监测网络爬虫，确保对网络爬虫进行监测的时效性。并且结合IP风险情报库中的风险等级对网络爬虫进行评分，根据评分采取如拦截、验证码验证等处置手段，提高识别恶意的网络爬虫的准确性。
一种爬虫处理方法系统存储介质电子设备

[发明专利]一种爬虫监控的方法、装置、电子设备及存储介质-CN202310636363.3在审
发明人：贾新;田小亮;张金坤 -专利权人：北京拓普丰联信息科技股份有限公司
申请日： 2023-06-01 - 公布日： 2023-06-30 - 主分类号： G06F16/951 文献下载
摘要：本申请提供了一种爬虫监控的方法、装置、电子设备及存储介质，该方法包括：获取目标爬虫，从预设的配置表中查询目标爬虫待爬取的目标网站，并对目标网站进行监控，获取目标网站的站点数据；使目标爬虫按照对应采集逻辑爬取目标网站的数据，同时，记录目标爬虫在运行过程中的运行数据；基于预设的约束规范，对站点数据和运行数据进行检测，确定站点数据和运行数据是否符合约束规范；在站点数据和/或运行数据不符合约束规范的时候，确定目标爬虫的异常类型本申请通过对站点数据和运行数据进行采集分析，能够准确的确定出爬虫是否符合约束规范，在不符合约束规范时及时进行维护，提高了工作效率。
一种爬虫监控方法装置电子设备存储介质

[发明专利]一种爬虫行为检测方法、装置、设备及存储介质-CN202211463745.2在审
发明人：王梦婷 -专利权人：浙江诺诺网络科技有限公司
申请日： 2022-11-18 - 公布日： 2023-03-07 - 主分类号： H04L9/40 文献下载
摘要：本申请公开了一种爬虫行为检测方法、装置、设备及存储介质，涉及数据防泄漏技术领域。Sketch算法和主成分分析法确定出所述原始流量数据中每个IP地址的稠密特征向量；基于空间维度构建第一混合整数线性规划模型，并利用所述第一混合整数线性规划模型确定出与所述稠密特征向量对应的若干个疑似爬虫IP，以得到疑似爬虫IP集合；针对所述疑似爬虫IP集合基于时间维度构建隐马尔可夫模型，以利用所述隐马尔可夫模型确定所述疑似爬虫IP集合群中的爬虫IP。通过本申请的技术方案，可以提高爬虫检测的准确率和实时性。
一种爬虫行为检测方法装置设备存储介质

[发明专利]自演进的网络自适应爬虫方法及系统-CN201710798931.4有效
发明人：何有树;莫默;唐东;周维军 -专利权人：翼果（深圳）科技有限公司
申请日： 2017-09-07 - 公布日： 2020-04-10 - 主分类号： H04L29/08 文献下载
摘要：本发明实施例公开了一种自演进的网络自适应爬虫方法及系统，所述爬虫方法包括：步骤1：接收采集任务，若接收为IP地址进入步骤4，接收为域名则查询是否存在于自建的DNS系统，若存在，则查询记录是否超时，若未超时则进入步骤4；步骤2：若不存在或超时则查询目标网站的所有IP地址；步骤3：探测IP地址并生成域名IP列表并更新；步骤4：探测IP地址的网络环境，结合探测结果分配爬虫任务；步骤5：预测采集模型并设置爬虫，采集数据。本发明实施例通过自建DNS系统结合网络环境生成负荷分担任务以及通过预测采集模型，解决了爬虫采集能力差及需经常修改配置参数问题，进而提高了爬虫的采集能力同时使爬虫能自动适应目标网站的配置项。
演进网络自适应爬虫方法系统

[发明专利]一种授权爬虫配置化模拟登录的方法及系统-CN201711446333.7有效
发明人：刘爽;李界鹏;王能 -专利权人：北京中关村科金技术有限公司
申请日： 2017-12-27 - 公布日： 2021-05-18 - 主分类号： H04L29/06 文献下载
摘要：本申请公开了一种授权爬虫配置化模拟登录的方法，包括：根据用户输入的配置文件生成操作单元，并将操作单元添加至爬虫系统的后端中；当爬虫系统的前端接收到授权请求时，将授权请求及用户输入的授权参数发送至后端；后端调用对应的操作单元根据授权参数完成授权请求该方法利用线上正在执行的爬虫系统可以动态读取配置的特点，当接收到用户输入的配置文件时，根据该配置文件生成对应的操作单元，并将该操作单元添加至爬虫系统的后端中，达到可以随时更新配置文件以更改爬虫系统中的授权流程的效果本申请同时还提供了一种授权爬虫配置化模拟登录的系统、服务器及计算机可读存储介质，具有上述有益效果。
一种授权爬虫配置模拟登录方法系统

[发明专利]爬虫识别、处理方法及相关装置-CN201710594829.2有效
发明人：李晨曦 -专利权人：北京星选科技有限公司
申请日： 2017-07-20 - 公布日： 2020-12-29 - 主分类号： G06F21/56 文献下载
摘要：本发明实施例提供了爬虫识别、处理方法及相关装置。按照用户标识分别统计访问记录数据中的特征字段生成检测数据集；将生成的检测数据集与预先标记的训练数据集放入预定的多个分类器进行分类学习，得到检测数据集中第一检测数据在多个分类器中对应的多个分类结果；根据多个分类结果中属于爬虫的分类结果的个数和分类结果的总个数确定所述第一检测数据对应的第一用户标识属于爬虫的分类概率上述方法和装置，通过大量统计数据学习识别爬虫，避免实时识别对系统吞吐量的不良影响，而且在爬虫更新时，调整特征字段即可实现对爬虫的有效识别，改善了爬虫识别的可扩展性。
爬虫识别处理方法相关装置

[发明专利]一种医院移动式清洁消毒装置-CN202010136741.8有效
发明人：袁湘娟;张莹;赵智勇;方坤棉 -专利权人：袁湘娟;张莹
申请日： 2020-03-02 - 公布日： 2020-12-22 - 主分类号： A61L2/22 文献下载
摘要：本发明公开了一种医院移动式清洁消毒装置，涉及医疗设备技术领域，包括储液箱和爬虫式消毒器，储液箱放置于公共卫生空间的地面，储液箱的内部储存有消毒液，储液箱的顶部安装有抽液泵，抽液泵顶端连接有输送管，输送管的另一端连接于爬虫式消毒器，爬虫式消毒器放置于公共卫生空间的地面进行消毒。本发明通过将储液箱放置于公共卫生空间的地面，储液箱的内部储存有消毒液，通过抽液泵将内部储存的消毒液输送至爬虫式消毒器上，爬虫式消毒器放置于地面，爬虫式消毒器的底端设置有行走轮，使得爬虫式消毒器在医院公共卫生空间的地面可以爬行
一种医院移动式清洁消毒装置

[发明专利]基于网络爬虫的UI界面测试方法、装置、设备及介质-CN202211237549.3有效
发明人：廖志勇;张卫;周乘风;唐丹;赵楠;兰丽娜;李杰 -专利权人：深圳华锐分布式技术股份有限公司
申请日： 2022-10-11 - 公布日： 2023-02-28 - 主分类号： G06F11/36 文献下载
摘要：本发明涉及测试技术领域，提供一种基于网络爬虫的UI界面测试方法、装置、设备及介质，其方法包括：由远端仓库将测试用例合并为待测用例，并转换为网络爬虫代码，在执行网络爬虫代码过程中记录执行结果及计算测试度量指标，并生成用例测试报告；将网络爬虫代码及用例测试报告发送至指定终端设备；当接收到指定终端设备根据用例测试报告反馈的对网络爬虫代码的确认信号时，根据确认信号从网络爬虫代码中获取目标测试用例；利用目标测试用例进行利用本发明能够基于网络爬虫代码实现对UI界面的自动化测试，提高了测试效率，并能够提供详细的用例测试报告以辅助判断测试用例的可用性。
基于网络爬虫 ui 界面测试方法装置设备介质