“爬取器”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果9056705个，建议您升级VIP下载更多相关专利

[发明专利]一种基于网络爬虫的知识图谱数据抽取方法及装置-CN202110034207.0在审
发明人：洪万福;钱智毅;吴文杰 -专利权人：厦门渊亭信息科技有限公司
申请日： 2021-01-12 - 公布日： 2021-05-14 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例提供了一种基于网络爬虫的知识图谱数据抽取方法、装置、可读存储介质及计算设备，用于实现爬虫代码复用，批量深度自动化爬取网页数据，避免页面变化导致需要大量修改网页解析的代码。方法包括：获取用于爬取数据的目标网页；配置所述目标网页的爬取规则和解析规则；根据所述爬取规则爬取所述目标网页和所述目标网页链接的网页；以及，根据所述解析规则获取所述目标网页和所述目标网页链接的网页中包含的实体信息与关系信息
一种基于网络爬虫知识图谱数据抽取方法装置

[发明专利]网页数据爬取方法、装置及存储介质-CN201810791126.3有效
发明人：吴壮伟 -专利权人：平安科技（深圳）有限公司
申请日： 2018-07-18 - 公布日： 2023-03-14 - 主分类号： G06F16/951 文献下载
摘要：本发明提供一种网页数据爬取方法，该方法根据接收的网页数据爬取请求读取第一URL列表，根据预先构建的docker镜像生成多个应用容器，将读取的所述第一URL列表划分为多个第二URL列表，并分别爬取所述多个第二URL列表中每条URL对应的网页数据，之后，该方法提取所述网页数据，并将所述网页数据发送至所述网页数据爬取请求对应的用户终端。利用本发明，可以提高网页数据爬取效率。
网页数据方法装置存储介质

[发明专利]一种爬取网站数据的方法、存储介质和服务器-CN201810029529.4有效
发明人：李晨光;王盼 -专利权人：深圳壹账通智能科技有限公司
申请日： 2018-01-12 - 公布日： 2021-02-05 - 主分类号： G06F16/953 文献下载
摘要：本发明公开了一种爬取网站数据的方法、存储介质和服务器，用于解决很多网站采取要求输入验证码的方式来屏蔽爬虫系统，导致爬虫系统无法爬取数据的问题。本发明提供的方法包括：向爬取数据的目标网站发起访问请求；在接收到所述目标网站要求输入验证码的反馈信息后，获取所述目标网站上所述反馈信息所对应的目标验证码图片；将所述目标验证码图片投入预训练好的机器学习模型进行识别，得到所述机器学习模型输出的验证码答案；根据所述输出的验证码答案执行所述目标网站要求输入验证码的验证操作；在通过所述目标网站的验证后，从所述目标网站上爬取数据。
一种网站数据方法存储介质服务器

[发明专利]论坛目录页内容解析方法和装置-CN201511017222.5在审
发明人：兰光明 -专利权人：北京国双科技有限公司
申请日： 2015-12-29 - 公布日： 2017-07-07 - 主分类号： G06F17/30 文献下载
摘要：其中，该方法包括按照预设排序规则爬取论坛目录页中的文章，得到爬取结果，其中，预设排序规则用于使论坛目录页中的文章按照发表时间排序；按照预设顺序依次解析爬取结果中的文章；判断当前解析的文章的发表时间是否晚于预设时间；在判断出当前解析的文章的发表时间晚于预设时间时，继续解析爬取结果中的文章；以及在判断出当前解析的文章的发表时间不晚于预设时间时，停止解析爬取结果中的文章。本申请解决了相关技术中解析爬取到的论坛目录页内容时浪费资源的技术问题。
论坛目录内容解析方法装置

[发明专利]信息爬取方法、装置、电子设备和系统-CN201711125869.9在审
发明人：沈文策 -专利权人：福建中金在线信息科技有限公司
申请日： 2017-11-14 - 公布日： 2018-04-20 - 主分类号： H04L12/58 文献下载
摘要：本发明提供了一种信息爬取方法、装置、电子设备和系统，属于互联网通信技术领域。本发明实施例提供的信息爬取方法、装置、电子设备和系统，在微信客户端与微信服务器之间设置电子设备，获取微信服务器提供的网络请求地址，提供给网络爬虫单元，由网络爬虫单元爬取微信公众号中的数据和信息，可以获取微信公众号的所有文章
信息方法装置电子设备系统

[发明专利]一种爬虫任务的监控方法和装置-CN202111105253.1在审
发明人：杨峰;张令忠 -专利权人：上海妙一生物科技有限公司
申请日： 2021-09-22 - 公布日： 2021-12-24 - 主分类号： G06F11/30 文献下载
摘要：本发明涉及一种爬虫任务的监控方法和装置，其中，该方法包括：在爬虫任务运行结束后执行以下监控操作中的至少之一：监控爬虫代码运行报错情况；监控持久化的爬取数据的更新情况；监控服务器的CPU使用率和内存占用率通过本申请，解决了相关技术中爬虫管理平台仅对爬虫运行进行监控不能有效避免数据爬取失败的问题，实现了通过对爬虫运行监控、数据监控、服务器监控尽最大可能避免了数据爬取的失败。
一种爬虫任务监控方法装置

[发明专利]蜜罐生成方法、装置、服务器和计算机可读存储介质-CN202111359396.5有效
发明人：徐磊 -专利权人：北京知道创宇信息技术股份有限公司
申请日： 2021-11-17 - 公布日： 2023-10-13 - 主分类号： H04L9/40 文献下载
摘要：本申请实施例提出一种蜜罐生成方法、装置、服务器和计算机可读存储介质，涉及网络安全技术领域。通过获取待仿制网站的URL地址、页面爬取深度和待绑定标识，根据待仿制网站的URL地址和页面爬取深度进行页面爬取操作，得到资源文件，以此根据得到的资源文件和预设脚本生成蜜罐镜像，进而根据蜜罐镜像生成蜜罐，
蜜罐生成方法装置服务器计算机可读存储介质

[发明专利]一种分布式深度爬取的方法、装置及介质-CN202111182163.2在审
发明人：李玉峰 -专利权人：上海易路软件有限公司
申请日： 2021-10-11 - 公布日： 2021-11-30 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种分布式深度爬取方法，包括：确定待爬取目标网站；获取目标网站的检索条件和最大数据量；将预设个数的检索条件组合成目标检索条件；预设个数小于所有检索条件的个数；爬取出目标检索条件下的数据量；若数据量小于或等于最大数据量相比组合所有检索条件对网站爬取会获得大量无效的统一资源定位符，本申请通过结合预设个数的检索条件爬取出目标网站的数据量，预设个数小于所有检索条件的个数，大幅度提高爬取效率。爬取出的数据量小于或等于该网站的最大数据量时获得最终统一资源定位符，最终统一资源定位符都是有效的。本申请还公开一种分布式深度爬取装置及介质与方法对应，效果如上。
一种分布式深度方法装置介质

[发明专利]基于动态爬虫技术的数据源发现方法-CN201610203264.6在审
发明人：任龙;王儒敬;王伟;汪六三 -专利权人：无锡中科富农物联科技有限公司;安徽中科物联科技有限公司;江苏物联网研究发展中心
申请日： 2016-04-01 - 公布日： 2016-08-03 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及了一种基于爬虫技术的深层次数据源发现方法，通过爬虫模块进行爬取，通过搜集网页中的符合条件的DOM元素，然后模拟浏览器事件，触发这些DOM元素，观察网页的内容是否发生了改变，若内容发生改变则改变后的网页内容形成一个新的状态，并以此新状态为起点继续爬取，否则继续触发当前状态的下一个可操作DOM元素，若无可操作元素则回溯到以前的状态。爬取策略采用深度优先的爬取策略。网页聚类模块将爬取过程中DOM树结构比较相似的网页聚为一类。若该聚类中结构相似的网页的数量满足设定的阈值，则认为其对应着网络中的某个数据源。
基于动态爬虫技术数据源发现方法

[发明专利]一种基于多策略融合的微博数据获取方法-CN201910175559.0有效
发明人：王文贤;陈兴蜀;王海舟;严丹;王培名;唐瑞 -专利权人：四川大学
申请日： 2019-03-08 - 公布日： 2019-12-31 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种基于多策略融合的微博数据获取方法，首先模拟登录，获取登录成功的Cookie；将获取的Cookie保存到Cookie队列中，获取初始任务；然后使用多账号负载均衡策略爬取用户关注列表、用户资料；提取用户ID，生成关注关系和用户信息待爬取队列，再爬取用户关注列表、用户资料，同时生成用户微博待爬取队列；构造访客Cookie，使用IP代理池加速爬取微博内容，将信息存入数据库中；提取微博ID，生成评论信息待爬取队列；爬取微博评论信息，将信息存入数据库中。
微博队列信息存入数据库策略融合评论信息数据获取用户关注用户资料负载均衡策略网络舆情分析采集自适应算法登录成功基础数据加速数据网络环境用户信息账号安全代理IP 访客可用并发登录平衡

[发明专利]一种用于电子商务平台的数据采集系统-CN201710079119.6在审
发明人：刘鑫 -专利权人：玖壹富瑞（北京）科技有限公司
申请日： 2017-02-14 - 公布日： 2017-07-25 - 主分类号： G06Q30/06 文献下载
摘要：本发明提供一种用于电子商务平台的数据采集系统，包括爬取模块、入库模块、定时任务模块和数据下载模块，所述爬取模块根据定时任务模块定义的时间定时爬取网站数据，并将爬取数据传输到入库模块，所述入库模块向数据库存入爬取数据
一种用于电子商务平台数据采集系统

[发明专利]页面数据爬取方法、装置、设备和计算机可读存储介质-CN202110496931.5在审
发明人：侯淑慧;马维士;李岩 -专利权人：北京华云安信息技术有限公司
申请日： 2021-05-07 - 公布日： 2021-07-06 - 主分类号： G06F16/951 文献下载
摘要：本公开的实施例提供了页面数据爬取方法、装置、设备和计算机可读存储介质。所述方法包括：向待请求的目标页面中添加动态注入代码；在接收到针对所述目标页面的页面访问请求时，根据所述动态注入代码确定所述目标页面中的动态页面元素；爬取所述动态页面元素的页面数据。以此方式，可以在不需要用户手动点击该动态页面元素的基础上，即可自动确认页面中的所有动态元素，进而实现该动态页面元素对应的页面信息的自动爬取，从而确保页面内容全面获取，也优化了爬取速度和爬取性能。
页面数据方法装置设备计算机可读存储介质

[发明专利]网页数据爬取的方法和装置-CN201711053152.8有效
发明人：曹志明 -专利权人：北京国双科技有限公司
申请日： 2017-10-31 - 公布日： 2021-06-22 - 主分类号： G06F16/953 文献下载
摘要：本发明公开了一种网页数据爬取的方法和装置。其中，该方法包括：解析接收到的网页数据爬取请求，得到请求资源类型；判断请求资源类型是否与预设缓存的请求资源类型相同；在判断结果不同的情况下，将网页数据爬取请求发送至远程网站；在判断结果相同的情况下，判断预存数据中是否存在与网页数据爬取请求对应的数据本发明解决了由于相关技术中网页爬虫爬取网页的数据请求量高，导致的网络资源消耗高的技术问题。
网页数据方法装置

[发明专利]OTA网站的数据爬取方法及系统-CN201510507081.9有效
发明人：牟杰 -专利权人：携程计算机技术（上海）有限公司
申请日： 2015-08-18 - 公布日： 2019-05-17 - 主分类号： G06F16/954 文献下载
摘要：本发明公开了一种OTA网站的数据爬取方法及系统。该数据爬取方法包括以下步骤：生成地区列表爬虫任务，包含对应于酒店搜索主页面的一初始爬取URL；执行地区列表爬虫任务以采集并保存地区数据，并生成酒店列表爬虫任务；执行酒店列表爬虫任务以采集并保存酒店数据，本发明的OTA网站的数据爬取方法及系统，能够针对OTA网站的数据爬取有效提高数据采集的效率、完整性以及准确性，并降低资源开销。
爬虫网站采集保存地区数据价格数据数据采集资源开销搜索

[发明专利]用于网络爬虫的数据存储方法及装置-CN201510729369.0有效
发明人：杨杰 -专利权人：北京国双科技有限公司
申请日： 2015-10-30 - 公布日： 2020-07-03 - 主分类号： G06F3/06 文献下载
摘要：其中，该方法包括：将爬虫的爬取结果的文件大小与预先设置的阈值进行比较；当爬取结果的文件大小大于或等于阈值时，将爬取结果存储至第一存储位置；生成与爬取结果对应的唯一标识信息，其中，唯一标识信息用于对存储于第一存储位置的爬取结果进行唯一索引
用于网络爬虫数据存储方法装置