“聚焦爬虫”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果62837个，建议您升级VIP下载更多相关专利

[发明专利]爬虫程序的调度方法、调度装置、服务器和存储介质-CN202310517799.0在审
发明人：陈琪钛;黄有才 -专利权人：广州钛动科技股份有限公司
申请日： 2023-05-09 - 公布日： 2023-08-29 - 主分类号： H04L9/40 文献下载
摘要：本申请涉及一种爬虫程序的调度方法、调度装置、服务器和存储介质。所述方法包括：获取代理节点的性能指标数据；其中，代理节点为用于执行待调度爬虫程序的网络节点，性能指标数据表征代理节点在当前运行状态下执行爬虫程序时的性能裕度；基于性能指标数据，确定代理节点分别执行多个待调度爬虫程序的性能损耗数据；其中，性能损耗数据表征代理节点在当前运行状态下执行爬虫程序时关于性能裕度的损耗程度；基于性能指标数据和性能损耗数据，在多个待调度爬虫程序中确定目标爬虫程序，并将目标爬虫程序调度至代理节点。采用本方法能够增强对爬虫程序进行分配调度的合理性和有效性，提升执行爬虫程序时的执行效率和执行质量。
爬虫程序调度方法装置服务器存储介质

[发明专利]一种房屋信息采集服务系统-CN201410545328.1有效
发明人：贾岩 -专利权人：深圳市易图资讯股份有限公司
申请日： 2014-10-15 - 公布日： 2019-03-22 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种房屋信息采集服务系统，包括：网站爬虫组件，用于针对一个网站的抓取工作，针对网站的页面元素与特点进行专门的解析，完成数据抽取后，映射到对应的数据实体当中，再交给网站爬虫服务模块进行数据的保存；监控服务模块，用于监控网站爬虫服务模块的工作情况，及各个网站爬虫组件的工作情况，及时发现网站爬虫组件是否工作正常，抓取的数据是否正确；管理服务模块，用于整个网站爬虫服务的管理与配置；部署服务模块，用于升级了网站爬虫组件后部署升级网站爬虫组件；调度服务模块，用于调度网站爬虫服务里面的网站爬虫组件如何工作、什么时候工作、什么时候停止。
一种房屋信息采集服务系统

[发明专利]一种爬虫检测方法、web应用云防火墙、装置和存储介质-CN202110968443.X有效
发明人：娄宇;范渊;杨勃 -专利权人：杭州安恒信息技术股份有限公司
申请日： 2021-08-23 - 公布日： 2023-02-24 - 主分类号： H04L9/40 文献下载
摘要：本申请涉及一种爬虫检测方法、web应用云防火墙、装置和存储介质，通过获取站点的爬虫数据，其中，爬虫数据携带有来源IP地址、用户代理信息和时间戳；将来源IP地址和预设IP地址进行匹配，根据相匹配的预设IP地址携带的标签初步确定来源IP地址的恶意倾向，其中，标签所指示的恶意倾向从高到低排列分别包括第一等级、第二等级和第三等级；在来源IP地址的恶意倾向属于第二等级的情况下，根据爬虫数据生成各用户代理的爬虫特征信息，并将爬虫特征信息和爬虫行为规则进行匹配，根据相匹配的爬虫行为规则最终确定用户代理的恶意倾向，解决了相关技术中爬虫检测方法存在检测不够准确的问题，提升了爬虫检测方法的准确度。
一种爬虫检测方法 web 应用防火墙装置存储介质

[发明专利]一种智能生成爬虫的方法及装置-CN201711098395.3在审
发明人：郭建辉 -专利权人：天脉聚源（北京）传媒科技有限公司
申请日： 2017-11-09 - 公布日： 2018-04-20 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种智能生成爬虫的方法及装置。所述智能生成爬虫的方法，包括构造出通用的爬虫代码；根据输入的网页信息，通过所述爬虫代码生成所述网页的树状结构；根据用户对所述网页的树状结构的选择指令，生成相应的爬虫规则；根据所述爬虫规则下载对应的数据内容并保存本发明无需用户具备一定的专业知识，根据用户的实际需求生成各种策略的爬虫代码，获取并存储用户实际需要的内容。
一种智能生成爬虫方法装置

[发明专利]可视化网络爬虫方法及装置-CN201810889341.7在审
发明人：刘振华;徐玉立;刘幸明 -专利权人：广州金猫信息技术服务有限公司
申请日： 2018-08-07 - 公布日： 2018-12-21 - 主分类号： G06F17/30 文献下载
摘要：本发明实施例提供一种可视化网络爬虫方法及装置。所述可视化网络爬虫方法，包括：在指定浏览器中启动一目标网站；在接收到选择操作后，显示网络爬虫控制界面，所述控制界面中显示有操作台，所述指定浏览器中安装有网络爬虫插件；监测到在所述操作台中的新增操作后，显示新增的网络爬虫界面，所述网络爬虫界面中包括工具箱栏，所述工具箱栏中包括多个网络流程；接收在所述工具箱栏中的选择操作后，根据所述选择操作形成爬虫流程；将所述爬虫流程进行存储。
网络爬虫工具箱选择操作可视化操作台控制界面爬虫浏览器目标网站网络流程插件存储监测

[发明专利]一种网络爬虫率的自动化测试方法及装置-CN201510957702.3有效
发明人：徐香联 -专利权人：北京锐安科技有限公司
申请日： 2015-12-17 - 公布日： 2018-12-25 - 主分类号： G06F11/36 文献下载
摘要：本发明实施例公开了一种网络爬虫率的自动化测试方法及装置。该方法包括：访问从爬虫程序的爬虫种子库中读取的种子网址关联的网页，并从所述网页的链接属性中获得设定数值个候选链接；对所述候选链接进行筛选，以得到目标链接，并将所述目标链接导入到测试工具中；依据所述测试工具中导入的目标链接和所述爬虫程序的爬虫结果数据，确定所述爬虫程序的爬全率。本发明实施例中的技术方案，相比于现有技术手动验证爬虫程序的性能，提高了对爬虫程序的测试效率。
一种网络爬虫自动化测试方法装置

[发明专利]批量爬虫任务的处理方法和装置-CN201611261546.8有效
发明人：朱长坚 -专利权人：北京国双科技有限公司
申请日： 2016-12-30 - 公布日： 2021-06-22 - 主分类号： G06F16/953 文献下载
摘要：本发明公开了一种批量爬虫任务的处理方法和装置。其中，该方法包括：获取具有相同配置信息的多个爬取网址；基于配置信息和多个爬取网址生成爬虫任务；将爬虫任务注入爬虫程序；利用爬虫程序执行爬虫任务，得到多个爬取网址的爬取结果。
批量爬虫任务处理方法装置

[发明专利]爬取网页的方法及装置-CN201610070457.9在审
发明人：李新国;樊思国;贺达 -专利权人：北京国双科技有限公司
申请日： 2016-02-01 - 公布日： 2017-08-08 - 主分类号： G06F17/30 文献下载
摘要：本发明的方法包括获取爬虫种子，所述爬虫种子为网络爬虫要爬取的网页的统一资源定位符URL；根据每个爬虫种子的优先级将所述爬虫种子注入到与其优先级对应的队列中，不同优先级对应不同队列；将对应不同优先级的队列发送给所述网络爬虫，以使得所述网络爬虫根据预设提取规则从不同队列中提取所述爬虫种子，并按照提取的爬虫种子进行网页爬取。
网页方法装置

[发明专利]网络爬虫的识别方法及装置、计算机可读存储介质-CN202010810543.5有效
发明人：肖军;左子娜;欧怀谷;王枭卿;张盼 -专利权人：云盾智慧安全科技有限公司
申请日： 2020-08-13 - 公布日： 2021-09-10 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例涉及网络安全技术领域，公开了一种网络爬虫的识别方法及装置、计算机可读存储介质，该方法包括：向目标客户端植入前端数据获取模块，该前端数据获取模块用于获取目标客户端预设数量种类的前端数据；进而接收前端数据获取模块回传的目标前端数据；若目标前端数据的种类数量等于预设数量，判断目标前端数据是否满足预设的网络爬虫数据特征，该网络爬虫数据特征表征网络爬虫的操作规律；若目标前端数据满足预设的网络爬虫数据特征，确定目标客户端为网络爬虫。实施本申请实施例公开的网络爬虫的识别方法，能够识别出网络中的网络爬虫，以避免网络爬虫带来的危害。
网络爬虫识别方法装置计算机可读存储介质

[发明专利]一种对加密反爬虫的方式方法-CN201910187886.8在审
发明人：娄奥林 -专利权人：娄奥林
申请日： 2019-03-13 - 公布日： 2019-06-07 - 主分类号： H04L29/06 文献下载
摘要：本发明提供一种对加密反爬虫的方式方法，所述方法包括以下步骤：自定义字体建立，自定义字体导入，自定义字体显示，字体更换；本发明一种对加密反爬虫的方式方法，提供了一种全新的反爬虫方法，通过对前端的页面加密，能够让爬虫无法解析网页内容，以保护网站数据内容以及进而放弃进行爬取，能够增加爬虫成本，从而达到反爬虫的目的。
爬虫自定义字体加密网页内容网站数据页面加密字体更换解析放弃

[发明专利]断点恢复方法及装置-CN201910932764.7在审
发明人：满悦 -专利权人：北京国双科技有限公司
申请日： 2019-09-29 - 公布日： 2021-03-30 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种断点恢复方法及装置，在爬虫爬取页面出错后，会获取爬虫爬取过程中的爬虫爬取记录，然后从所述爬虫爬取记录中，筛选出末次爬取记录，末次爬取记录包括爬虫爬取出错时的爬虫爬取操作，然后基于所述末次爬取记录，进行断点恢复操作，就可以恢复了爬虫在爬取出错时的爬取操作，此后可以继续执行后续的爬取操作，本发明直接断点恢复到爬取出错时的爬取操作，实现了高效断点恢复。
断点恢复方法装置

[发明专利]一种基于图片验证码识别的网络爬虫方法-CN201711415807.1有效
发明人：闵信志;刘计争;高成俊 -专利权人：南京烽火星空通信发展有限公司
申请日： 2017-12-25 - 公布日： 2021-08-24 - 主分类号： G06F21/36 文献下载
摘要：本发明公开了一种基于图片验证码识别的网络爬虫方法，包括：爬虫程序的预处理和构建；计算机加载爬虫程序，使用浏览器访问网页；在网络请求超时、代理IP被限制访问、出现图片验证码时，由爬虫程序进行不同处理，在访问到爬虫需要爬取的网页时本发明可以在被爬取的网站使用图片验证码限制网络爬虫爬取网站内容时，通过人工识别图片验证码，使得爬虫可以继续爬取网页。
一种基于图片验证识别网络爬虫方法

[发明专利]爬取任务的分配方法及装置-CN201811291178.0在审
发明人：李强 -专利权人：北京国双科技有限公司
申请日： 2018-10-31 - 公布日： 2020-05-08 - 主分类号： G06Q10/06 文献下载
摘要：本发明公开了一种爬取任务的分配方法及装置，涉及爬虫技术领域，提高了爬虫服务器对爬取任务进行分配调度的效率。本发明的方法包括：接收爬虫设备发送的任务分配请求，其中，所述任务分配请求中包含所述爬虫设备对应的设备标识，所述设备标识用于唯一标识所述爬虫设备；根据所述设备标识，确定所述爬虫设备对应的爬取能力；获取与所述爬取能力相匹配的待处理爬取任务，并将所述待处理爬取任务发送至所述爬虫设备。本发明适用于爬虫服务器对爬取任务进行分配调度的过程中。
任务分配方法装置

[发明专利]分布式爬虫实现方法和装置-CN202011573515.2在审
发明人：任亮;傅雨梅;徐林;文齐辉 -专利权人：北京知因智慧科技有限公司
申请日： 2020-12-25 - 公布日： 2021-04-02 - 主分类号： G06F16/951 文献下载
摘要：本发明提供了一种分布式爬虫实现方法和装置，涉及爬虫应用技术领域，包括创建爬虫任务，并根据爬虫任务中的采集任务和解析任务分别确定对应分布的部署节点，其中，爬虫任务包括至少一个；启动爬虫任务，基于预先确定的警告规则和质量检测规则分别对采集任务和解析任务进行监控；若监控状态异常，则发出警告，并重新对爬虫任务进行分布部署；若监控状态正常，则持续运行爬虫任务，并将爬取数据写入数据库，通过分布式节点部署，在提高多个爬取任务速度的同时，还对爬取任务的状态进行监控，同时保证数量和质量
分布式爬虫实现方法装置

[发明专利]一种基于Kubenetes集群的分布式爬虫方法和存储设备-CN202111455547.7在审
发明人：张汀勇;叶章明;侯祥钦;陈天宇;郑为洛;林杰;王敏力;卞江新 -专利权人：福建博思数字科技有限公司
申请日： 2021-12-01 - 公布日： 2022-03-01 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及爬虫技术领域，特别涉及一种基于Kubenetes集群的分布式爬虫方法和存储设备。所述一种基于Kubenetes集群的分布式爬虫方法，包括步骤：构建代码仓库；构建制品库；构建自动化部署流程；根据所述部署流程将制品库的镜像文件自动部署至Kubenetes的各个节点上；启动爬虫任务进行任务采集通过以上方法，不需要逐一配置爬虫所需要的复杂环境配置，环境都已经打包在镜像包，部署升级不需要逐一升级爬虫程序，通过制品库根据自动化部署流程部署到各个爬虫机器上。使得当有更新时，爬虫部署简单方便易操作。
一种基于 kubenetes 集群分布式爬虫方法存储设备