“聚焦爬虫”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果62837个，建议您升级VIP下载更多相关专利

[发明专利]多平台爬虫调度方法、装置和存储介质-CN201911236647.3在审
发明人：陈伟杰;高继勇 -专利权人：北京创鑫旅程网络技术有限公司
申请日： 2019-12-05 - 公布日： 2020-04-17 - 主分类号： G06F16/951 文献下载
摘要：本发明实例提供一种多平台爬虫调度方法、装置和存储介质。本发明的方法包括：获取待爬虫任务的配置信息，待爬虫任务的配置信息包括多个数据来源平台的标识、N个数据抓取平台的类型标识、与每个数据来源平台对应的抓取开始时间以及待爬虫任务对应的多个爬虫子任务的相关信息，爬虫子任务的相关信息包括：数据来源平台与数据抓取平台的对应关系以及多条待抓取数据的属性信息，N为大于或等于1的整数；根据待爬虫任务的配置信息和预设的数据抓取分发算法，获得每个爬虫子任务的数据抓取调度信息
平台爬虫调度方法装置存储介质

[发明专利]一种网络爬虫方法及装置-CN201510609537.2有效
发明人：罗杰;梁家盟 -专利权人：北京云知声信息技术有限公司
申请日： 2015-09-22 - 公布日： 2019-08-16 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网络爬虫方法及装置，用于解除网络爬虫任务中相邻执行阶段之间的耦合性，从而实现网络爬虫的每个执行阶段的模块化。所述方法包括：获取网络爬虫任务的配置文件，配置文件包括网络爬虫任务的每一个执行阶段的标识、每一个执行阶段的执行顺序及每一个执行阶段对应的配置参数；根据每一个执行阶段的标识以及每一个执行阶段的执行顺序，确定网络爬虫的当前执行阶段该技术方案解除了网络爬虫任务中相邻执行阶段之间的耦合性，使每个执行阶段的执行更加模块化，提高了网络爬虫的效率。
一种网络爬虫方法装置

[发明专利]一种基于行为平衡度的垂直类网络爬虫检测识别方法-CN202011306830.9有效
发明人：刘兰;刘浪洲;何康健 -专利权人：广东技术师范大学
申请日： 2020-11-19 - 公布日： 2022-08-30 - 主分类号： H04L9/40 文献下载
摘要：一种基于行为平衡度的垂直类网络爬虫检测识别方法，属于计算机软件的技术领域。垂直类网络爬虫是一种针对网站数据进行定点定向爬取的网络程序，相比于传统的网络爬虫，这种爬虫的行为模式更加隐秘，对网站服务器资源占用较低，但是其行为会严重危害到网站的信息安全，造成极大的数字资产损失。现有的网络爬虫检测方式对高频恶意爬虫流量检测效果明显，对垂直类爬虫检测效果不佳，识别准确率较低。因此，本发明提出一种基于行为平衡度的垂直类网络爬虫检测识别方法，具体包括：（1）基于网站页面信息量的合理停滞时间建模；（2）基于不同跃迁深度访问的行为平衡度建模。
一种基于行为平衡垂直网络爬虫检测识别方法

[发明专利]一种基于聚焦搜索的WSDL搜集方法-CN200910227171.7有效
发明人：刘建勋;覃事刚;贺财平;李苏;陈平 -专利权人：湖南科技大学
申请日： 2009-12-10 - 公布日： 2010-06-09 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于聚焦搜索的WSDL搜集方法，其特征在于，包括以下步骤：1)定义要搜集的WSDL主题模型的形式化描述和搜索关键词；2)提交该搜索关键词给通用搜索引擎进行搜索，从搜索到的结果中获得与WSDL主题模型的形式化描述相关的URL链接；得到所有相关URL链接的集合Q；3)在所有相关URL链接的集合Q内启动新聚焦搜索爬虫线程；4)执行搜索直到集合Q中所有的URL元素遍历完，则结束，返回搜索结果。
一种基于聚焦搜索 wsdl 搜集方法

[发明专利]爬虫访问拦截方法及设备、服务器和计算机可读存储介质-CN201911133057.8在审
发明人：张阳 -专利权人：用友网络科技股份有限公司
申请日： 2019-11-19 - 公布日： 2020-04-03 - 主分类号： H04L29/06 文献下载
摘要：本发明提供了一种爬虫访问拦截方法及设备、服务器和计算机可读存储介质，其中，反爬虫访问拦截方法包括：接收访问请求，对访问请求进行解析以得到访问特征；获取拦截策略，基于访问特征符合拦截策略的情况，拒绝访问请求应用了本发明提供的技术方案，通过设置反爬虫拦截策略，通过反爬虫拦截策略对接收到的访问请求的访问特征进行比对，以判断访问请求是否为爬虫访问，进而有效地对爬虫访问进行拦截，避免了爬虫访问对服务器性能造成影响
爬虫访问拦截方法设备服务器计算机可读存储介质

[发明专利]一种爬虫任务的监控方法和装置-CN202111105253.1在审
发明人：杨峰;张令忠 -专利权人：上海妙一生物科技有限公司
申请日： 2021-09-22 - 公布日： 2021-12-24 - 主分类号： G06F11/30 文献下载
摘要：本发明涉及一种爬虫任务的监控方法和装置，其中，该方法包括：在爬虫任务运行结束后执行以下监控操作中的至少之一：监控爬虫代码运行报错情况；监控持久化的爬取数据的更新情况；监控服务器的CPU使用率和内存占用率；根据所述监控操作的监控结果对所述爬虫任务进行监控。通过本申请，解决了相关技术中爬虫管理平台仅对爬虫运行进行监控不能有效避免数据爬取失败的问题，实现了通过对爬虫运行监控、数据监控、服务器监控尽最大可能避免了数据爬取的失败。
一种爬虫任务监控方法装置

[发明专利]一种爬虫系统及其方法-CN201410259561.3有效
发明人：于权 -专利权人：江苏敏行信息技术有限公司
申请日： 2014-06-12 - 公布日： 2017-04-19 - 主分类号： G06F17/30 文献下载
摘要：一种爬虫系统及其方法，包括带有用于动态网页的爬虫系统的爬虫节点，爬虫节点同互联网相连接，所述的互联网中包含有网站服务器，所述的网站服务器中包含有带有频道的网站，所述的爬虫节点中还包括有浏览器、用于采集结果的数据库和频道库这样的结构结合其方法避免了现有技术中无法通过访问时间的值来控制爬虫是否继续爬取网页内容这样就极大地限制了爬虫的使用效率的缺陷。
一种爬虫系统及其方法

[发明专利]网络爬虫识别方法和装置-CN201510250481.6有效
发明人：周高明 -专利权人：阿里巴巴集团控股有限公司
申请日： 2015-05-15 - 公布日： 2019-11-05 - 主分类号： G06F16/951 文献下载
摘要：本申请提出一种网络爬虫识别方法和装置，该网络爬虫识别方法包括：接收客户端在网页渲染完毕后发送的所述网页的图片和所述网页的URL；根据所述URL获取样本图片；根据相似度与预设阈值的比较，识别所述客户端是否为网络爬虫本申请对网络爬虫识别的可靠性较高，不影响正常用户浏览网页的流畅性，并且即便网络爬虫破解了上述识别方法，也会极大的消耗网络爬虫自身的资源，降低网络爬虫访问网页的频率。
网络爬虫识别方法装置

[发明专利]网络爬虫识别方法和装置-CN201910957170.1有效
发明人：周高明 -专利权人：阿里巴巴集团控股有限公司
申请日： 2015-05-15 - 公布日： 2023-06-30 - 主分类号： G06F16/951 文献下载
摘要：本申请提出一种网络爬虫识别方法和装置，该网络爬虫识别方法包括：接收客户端在网页渲染完毕后发送的所述网页的图片和所述网页的URL；根据所述URL获取样本图片；根据相似度与预设阈值的比较，识别所述客户端是否为网络爬虫本申请对网络爬虫识别的可靠性较高，不影响正常用户浏览网页的流畅性，并且即便网络爬虫破解了上述识别方法，也会极大的消耗网络爬虫自身的资源，降低网络爬虫访问网页的频率。
网络爬虫识别方法装置

[发明专利]一种基于远程过程调用实现的分布式爬虫调度方法-CN201911214436.X在审
发明人：邱煜铭;范渊 -专利权人：杭州安恒信息技术股份有限公司
申请日： 2019-12-02 - 公布日： 2020-03-27 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种基于远程过程调用实现的分布式爬虫调度方法、装置、服务端、系统及可读存储介质，该方案基于Thrift通信框架实现爬虫调度，能够实现远程跨语言调用；在存储方面，将爬虫种子以散列结构的形式存储在redis集群，提升了爬虫种子的存储效率和访问速度；在操作方面，向客户端提供爬虫种子的操作接口，使得用户能够依据自身需求配置爬虫种子，且通过redis锁避免了数据一致性问题。
一种基于远程过程调用实现分布式爬虫调度方法

[发明专利]可动态扩展的分布式爬虫系统、数据处理方法及装置-CN202011598949.8在审
发明人：陈志坚 -专利权人：百果园技术（新加坡）有限公司
申请日： 2020-12-29 - 公布日： 2021-04-13 - 主分类号： G06F9/48 文献下载
摘要：本申请实施例公开了可动态扩展的分布式爬虫系统、数据处理方法及装置。本申请实施例提供的技术方案通过优化系统，在爬虫任务配置中隔离爬虫任务配置和条件配置，在执行爬虫任务时对不同任务信息的爬虫任务列入不同的任务队列等待，并且多线程分别执行不停任务队列的爬虫任务；通过降低系统内部的耦合度
动态扩展分布式爬虫系统数据处理方法装置

[发明专利]一种爬虫业务的处理方法及设备-CN202111417274.7在审
发明人：黄文强 -专利权人：中国银行股份有限公司
申请日： 2021-11-25 - 公布日： 2022-03-22 - 主分类号： G06F9/48 文献下载
摘要：本申请实施例公开了一种爬虫业务的处理方法及设备，可应用于金融领域或其他领域。该方法包括：获取目标业务的调用信息；根据目标业务的调用信息，通过贝叶斯模型，判断目标业务是否为爬虫业务；当目标业务为爬虫业务时，确定当前运行业务中的非爬虫业务；确定非爬虫业务的正常处理时间和当前处理时间；在当前处理时间大于正常处理时间时，锁定当前运行业务中的爬虫业务。
一种爬虫业务处理方法设备

[发明专利]一种网络爬虫的识别方法及装置-CN201710081453.5有效
发明人：唐文韬;郑云文;胡珀;郑兴;郭晶;张强;范宇河;王放;杨勇 -专利权人：腾讯科技（深圳）有限公司
申请日： 2017-02-15 - 公布日： 2020-08-04 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种网络爬虫的识别方法及装置，该网络爬虫的识别方法包括：生成爬虫识别指令；根据该爬虫识别指令获取预设时段内存储的用户标识集、以及该用户标识集中每一用户标识对应的访问时间集；计算该访问时间集中相邻两次访问时间相隔的时长，得到间隔时长集；根据该间隔时长集从该用户标识集中识别出网络爬虫，从而能较准确地识别出网络爬虫，降低漏报率和误报率，识别效果好。
一种网络爬虫识别方法装置

[发明专利]一种分布式爬虫系统监控方法及装置-CN201910127161.X在审
发明人：尹学渊;汪洋;王东明 -专利权人：成都嗨翻屋科技有限公司
申请日： 2019-02-20 - 公布日： 2019-05-28 - 主分类号： H04L12/26 文献下载
摘要：本发明公开了一种分布式爬虫系统监控方法及装置，涉及数据挖掘技术领域，方法包括：获取爬虫目标数据，判断在第一时间段内获取到的爬虫目标数据数量与在上一个所述第一时间段内获取到的爬虫目标数据数量的差值是否超过预设阈值，若超过预设阈值，则向维护端发送异常告警信息；获取爬虫在爬取过程中产生的异常信息，根据第二时间段内获取到的所有异常信息生成异常信息统计表，并将异常信息统计表发送至维护端；本发明通过对于爬虫产出数据量是否异常进行监控实现了对爬虫系统本身的异常监控，同时通过对爬虫异常信息的监控，实现了快速定位爬虫系统本身的问题，无需运维人员花费大量的精力定位问题。
爬虫异常信息爬虫系统目标数据时间段监控方法及装置统计表预设数据挖掘技术发送定位问题快速定位异常告警异常监控数据量监控运维维护

[发明专利]一种可视化爬虫代码编写与调试方法-CN202010884239.5在审
发明人：陈开冉;黎展;马帅 -专利权人：广州探迹科技有限公司
申请日： 2020-08-28 - 公布日： 2020-12-18 - 主分类号： G06F11/36 文献下载
摘要：为了解决编程技术薄弱的用户难以使用现有网络爬虫软件的问题，本公开提供了一种可视化爬虫代码编写与调试方法及系统，便于编程技术薄弱的用户使用。包括：接收用户输入的模式选择指令；根据模式选择指令进入第一模式或第二模式；进入第一模式后，获取用户输入的第一指令；基于第一指令爬取所需的第一目标数据；进入第二模式后，生成用于供用户输入爬虫脚本代码的代码编码区，并获取用户输入的第二指令；基于第二指令，将代码编码区中的爬虫脚本代码提交到外部的爬虫调度系统，获取爬虫调度系统根据爬虫脚本代码执行爬虫任务时所爬取的第二目标数据。本申请还公开了相应的系统，本公开的系统和方法便于编程技术薄弱用户使用网络爬虫爬取所需数据。
一种可视化爬虫代码编写调试方法