“爬取器”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果9056705个，建议您升级VIP下载更多相关专利

[发明专利]分布式爬取内容的方法、装置及存储介质-CN202010019149.X有效
发明人：黄勇;周彦辉 -专利权人：北京小米松果电子有限公司
申请日： 2020-01-08 - 公布日： 2023-10-13 - 主分类号： G06F16/951 文献下载
摘要：本公开是关于一种分布式爬取内容方法、分布式爬取内容装置及存储介质。分布式爬取内容方法包括：检测针对爬虫页面的输入信息，输入信息包括待爬取内容标识；响应于检测到输入信息，爬取待爬取内容标识对应的爬取内容信息；在爬虫页面显示爬取内容信息。通过本公开，可以简单、易操作地爬取互联网公开数据。
分布式内容方法装置存储介质

[发明专利]以用户历史优化WEB爬取-CN201280038672.0有效
发明人： D.M.维尔曼;F.卡内尔;B.什亚姆库马;C.(X.)张 -专利权人：微软技术许可有限责任公司
申请日： 2012-07-31 - 公布日： 2016-11-09 - 主分类号： G06F17/00 文献下载
摘要：一种优雅管理器基于由客户端web浏览器上的插件或工具栏所生成并且发送的历史上的日志数据来估计到站点的业务量。所述历史上的日志数据详述所述web浏览器访问不同web站点的日期和时间，所述历史上的日志数据被用来理解特定web站点什么时间帧是忙碌的并且所述web站点什么时间帧不是忙碌的。对于web站点的针对不同时间帧的爬取速率基于所述历史上的日志数据被确定，并且web爬取器被调度来根据所述爬取速率来爬取所述web站点以便最小化web爬取器请求对站点崩溃有责任的机会。
用户历史优化 web

[发明专利]一种跟踪爬取过程的方法及装置-CN201710719691.4有效
发明人：邢琰 -专利权人：北京国双科技有限公司
申请日： 2017-08-21 - 公布日： 2021-10-08 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种跟踪爬取过程的方法，包括：将发送给爬虫模块的，需要爬取的网站的网站地址，存储到爬取网站列表中；轮询所述爬取网站列表中的网站地址，每轮询到一个网站地址时，分别执行以下操作：根据轮询到的网站地址，从所述爬取网站列表中，查询得到爬取所述轮询到的网站地址的爬取任务ID；根据所述爬取任务ID，从数据库中查询得到对应所述爬取任务ID的错误信息；其中，所述数据库为存储所述爬虫模块的爬取结果以及爬取过程中的错误信息的数据库采用该方法能够实现自动化的跟踪爬取过程，查询爬取过程中的错误信息。
一种跟踪过程方法装置

[发明专利]一种数据爬取的方法、装置、电子设备及存储介质-CN201910944677.3在审
发明人：武玉博 -专利权人：北京国双科技有限公司
申请日： 2019-09-30 - 公布日： 2021-03-30 - 主分类号： G06F16/951 文献下载
摘要：本申请涉及一种数据爬取的方法、装置、电子设备及存储介质，该方法包括：获取待爬取网页的信息，其中，所述待爬取网页的信息包括统一资源定位符URL；将所述URL转换至目标网页的目标URL，其中，所述待爬取网页和所述目标网页对应于相同的目标资源，所述目标网页对应的第一爬取难度等级低于所述待爬取网页对应的第二爬取难度等级；根据所述目标网页的目标URL，对所述目标网页中的数据进行爬取。本申请通过URL转换的方式，将待爬取网页的URL切换至爬取难度等级较低的目标网页的目标URL，根据目标URL对目标网页中的数据进行爬取，可以大大降低数据爬取难度，减少爬取资源的消耗，降低成本，以及提高数据的爬取效率
一种数据方法装置电子设备存储介质

[发明专利]一种网页数据的自动爬取方法和装置、计算机设备和介质-CN202211668127.1在审
发明人：谯海 -专利权人：京东方科技集团股份有限公司;重庆京东方智慧科技有限公司
申请日： 2022-12-23 - 公布日： 2023-04-04 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网页数据的自动爬取方法和装置、计算机设备和介质，其中一实施例的自动爬取方法包括：响应于用户的第一操作启动自动爬取应用软件，所述自动爬取应用软件为基于跨平台桌面应用程序开发框架生成的；响应于用户的第二操作在目标网页进行爬取规则录制并生成数据爬取模板；响应于用户的第三操作运行所述数据爬取模板以自动爬取待爬取数据的网页。本发明提供的实施例基于自动爬取应用软件提供可视化的爬取规则录制，并获取数据爬取模板以便于对网页进行自动爬取，从而灵活简便地实现自动化爬取；特别的，使用跨平台桌面应用程序开发框架生成的自动爬取应用软件能够支持多系统
一种网页数据自动方法装置计算机设备介质

[发明专利]基于scrapy的分布式暗网资源挖掘系统及方法-CN201810558520.2在审
发明人：刘丹;杜凤媛;王永松;郑云彬 -专利权人：成都康乔电子有限责任公司;电子科技大学
申请日： 2018-06-01 - 公布日： 2018-11-16 - 主分类号： G06F17/30 文献下载
摘要：本发明包括中心节点控制模块和从节点爬取模块，所述中心节点控制模块包括爬虫种子任务队列、任务预处理模块、暗网任务队列和明网任务队列，所述从节点爬取模块包括暗网爬取模块、明网爬取模块和爬虫管理器；暗网在人为提供和通过明网爬取得暗网域名的基础上再通过暗网爬取模块和明网爬取模块从暗网页面和明网网页中爬取更多的暗网域名
暗网资源挖掘任务队列控制模块中心节点网页任务预处理爬虫爬虫种子数据挖掘管理器存储

[发明专利]网页爬取方法和装置-CN201710117896.5在审
发明人：单长美;李玲 -专利权人：中兴通讯股份有限公司
申请日： 2017-03-01 - 公布日： 2018-09-14 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种网页爬取方法和装置，所述方法包括以下步骤：配置爬取任务和爬取策略；所述爬取任务包括目标网站，所述爬取策略包括URL限制策略；根据所述目标网站生成爬取列表；依次爬取所述爬取列表中目标网站的网页，获取所述网页中的网站链接；根据所述URL限制策略过滤所述网站链接，以滤除所述网站链接中的无效链接，并将过滤后剩余的网站链接作为目标网站的链接加入所述爬取列表中以供后续爬取。从而，通过对爬取到的外链进行控制，有效过滤了无关网站，减少了网站爬取数据，更大程度上定位到有用信息的爬取，既提高了爬取效率，减少了无用的杂质数据，进而降低了对存储空间的要求，又大大减少了对带宽的占用。
目标网站网站链接网页方法和装置链接网站过滤策略过滤存储空间杂质数据滤除外链带宽占用配置

[发明专利]一种信息爬取方法和装置、电子设备-CN201710903327.3有效
发明人：卓雷;杨奇川;胡长健 -专利权人：联想（北京）有限公司
申请日： 2017-09-29 - 公布日： 2020-02-21 - 主分类号： G06F16/955 文献下载
摘要：本发明公开了一种信息处理方法和装置、电子设备，方法包括：接收第一爬取目标；其中，所述第一爬取目标包括目标网址以及第一关键信息；基于所述第一爬取目标，利用预先建立的目标数据库对所述第一爬取目标进行扩展，获得包含所述第一爬取目标的第二爬取目标；其中，所述第二爬取目标包括爬取网址集合以及第二关键信息；基于所述第二爬取目标，进行爬取操作；本申请能够在减小人工参与的基础上提高信息爬取的针对性。
一种信息方法装置电子设备

[发明专利]一种爬取推广内容并供搜索使用的方法和装置-CN201510408818.1有效
发明人：黄凤 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2015-07-13 - 公布日： 2018-10-12 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种爬取推广内容并供搜索使用的方法和装置，该方法包括：获取推广用户的服务器地址列表；对于推广用户的服务器地址列表中的每个服务器地址，按照该服务器地址对应的爬取频度，每隔相应的时间访问该服务器并爬取对应的推广内容；保存所爬取到的推广内容；在接收搜索关键词时，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中。本发明提供的技术方案从推广用户的服务器上爬取并保存推广内容，该过程可以按照一定频次进行，以追踪推广用户对推广内容的更新；还将该爬取结果用于搜索服务中，满足了推广用户和搜索用户的双方需求，提高了内容推广服务的价值与意义
一种推广内容搜索使用方法装置

[发明专利]一种基于网络爬虫的文本信息爬取方法-CN201810705012.2有效
发明人：向湘杰 -专利权人：上海众引文化传播股份有限公司
申请日： 2018-07-01 - 公布日： 2021-08-06 - 主分类号： G06F16/951 文献下载
摘要：本发明提供了一种基于网络爬虫的文本信息爬取方法，通过服务器获取网络爬虫任务的配置文件和第一文本；所述服务器根据所述配置文件开启网络URL信息爬取，并将爬取的信息整合为待处理信息；所述服务器对所述待处理信息进行查重及删除重复内容处理后，得到第二文本；所述服务器计算第一文本与第二文本之间的相似度，若相似度超出预设阈值，则输出第二文本。本发明基于网络爬虫进行信息获取，并针对第一文本和第二文本的相似度判定本次爬取的信息是否符合要求，所以提高了信息爬取的效率。
一种基于网络爬虫文本信息方法

[发明专利]一种爬取微信公众号信息的方法-CN201811070426.9在审
发明人：陈曦;蓝志坚;潘健;曾伟杰 -专利权人：广州丰石科技有限公司
申请日： 2018-09-13 - 公布日： 2019-02-26 - 主分类号： G06F16/951 文献下载
摘要：本发明提出一种爬取微信公众号信息的方法，主要步骤包括：S1：确定待爬取公众号名称，将待爬取公众号的编号入库；S2：依照预设的爬虫匹配规则，根据公众号名称爬取待爬取公众号，得到待爬取公众号的相关信息；S3：将爬虫获取的待爬取公众号相关信息进行入库处理，处理后的待爬取公众号的相关信息入库；S4：设置爬虫定时执行时间，根据待爬取公众号的相关信息定时爬取待爬取待爬取公众号文章，将爬虫获取的公众号文章入库；S5本发明利用scrapy提供的爬虫技术爬取目标微信公众号的历史内容，且实现按天实时爬取，同步更新目标公众号的历史内容到本地存储，并利用JavaWeb相关技术将本地存储公众号内容查询展示到前端界面上。
爬虫相关信息入库历史内容存储内容查询爬虫技术匹配规则同步更新预设展示

[发明专利]论坛目录页内容爬取方法和装置-CN201511019097.1在审
发明人：兰光明 -专利权人：北京国双科技有限公司
申请日： 2015-12-29 - 公布日： 2017-07-07 - 主分类号： G06F17/30 文献下载
摘要：本申请公开了一种论坛目录页内容爬取方法和装置。其中，该方法包括爬取论坛目录页的第一爬取页面中的文章，得到爬取结果，其中，论坛目录页中的文章按照发表时间排序；从爬取结果中获取第一爬取页面中的最后一篇文章的发表时间；判断发表时间是否晚于预设时间；在判断出发表时间晚于预设时间时，跳转至论坛目录页的第二爬取页面，并爬取第二爬取页面中的文章，其中，第二爬取页面位于第一爬取页面之后；以及在判断出发表时间不晚于预设时间时，停止爬取论坛目录页中的文章。本申请解决了相关技术中通过翻页爬取论坛目录页面内容时，在发帖量较大时最大翻页数不够造成数据丢失，在发帖量较少时爬取最大翻页数的页面浪费网络资源的技术问题。
论坛目录内容方法装置

[发明专利]用于网页爬取的数据处理方法及装置-CN201410779304.2有效
发明人：李庆 -专利权人：北京国双科技有限公司
申请日： 2014-12-15 - 公布日： 2018-04-06 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种用于网页爬取的数据处理方法及装置。该方法包括通过在启动爬取程序之后，获取爬取程序当前爬取的网站的状态标志位；确定状态标志位指示的爬取状态；若状态标志位指示的爬取状态为中断爬取状态，则判断数据库中记录的当前崩溃次数是否小于预设崩溃阈值；若当前崩溃次数不小于预设崩溃阈值，则终止爬取程序的工作；若当前崩溃次数小于预设崩溃阈值，则控制爬取程序继续工作。通过根据当前崩溃次数与预设崩溃阈值的关系，自动控制爬取的进行或终止，在一定程度上解决了相关技术中解决爬虫崩溃问题的处理方式导致的爬取数据效率低的问题，达到了自动终止爬取功能，提高爬取效率的效果。
用于网页数据处理方法装置

[发明专利]网页爬取方法、装置、存储介质和计算机设备-CN201811389206.2有效
发明人：刘劲柏;徐佳良 -专利权人：深圳壹账通智能科技有限公司
申请日： 2018-11-21 - 公布日： 2023-06-09 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网页爬取方法、装置、存储介质和计算机设备。该网页爬取方法包括：根据获取的目标网页的网址跳转到目标网页；在目标网页生成操作提示窗口，并在操作提示窗口展示第一提示信息，第一提示信息用于提示用户选择第一爬取操作；获取用户在目标网页上的行为；根据行为在操作提示窗口展示第二提示信息，第二提示信息用于提示用户选择第二爬取操作；获取用户输入的第一选择指令和第二选择指令，第一选择指令用于选择第一爬取操作，第二选择指令用于选择第二爬取操作；根据用户选择的第一爬取操作和第二爬取操作确定目标爬取任务；执行目标爬取任务，在目标网页上爬取目标信息。采用该网页爬取方法能够提高网页爬取的效率。
网页方法装置存储介质计算机设备

[发明专利]分布式数据采集方法、系统及存储介质-CN202010819714.0有效
发明人：杨超明;姚登科;王君 -专利权人：北京斗米优聘科技发展有限公司
申请日： 2020-08-14 - 公布日： 2021-09-03 - 主分类号： G06F16/951 文献下载
摘要：本公开提供了一种分布式数据采集方法、系统及可读存储介质，该方法包括针对不同的爬取项目配置不同的项目名，所述项目名用于唯一标识所述爬取项目；任务分配器基于所述项目名生成爬取任务，并分配所述爬取任务；多个网页下载器基于所述项目名和所述爬取任务分布式地进行数据采集本公开解决了相关技术中由于网络爬虫的任务是多变的，经常因为网站和爬取对象的变化需要做大量的变更工作而导致编写各种流程复杂繁琐的问题，具有提高工作效率的有益效果。
分布式数据采集方法系统存储介质