“爬取贴文”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果920854个，建议您升级VIP下载更多相关专利

[发明专利]一种数据获取方法、装置、电子设备及存储介质-CN201910251969.9在审
发明人：胡凌云;丁国航 -专利权人：北京达佳互联信息技术有限公司
申请日： 2019-03-29 - 公布日： 2019-06-25 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例提供了一种数据获取方法、装置、电子设备及存储介质，该方法包括：集群中的每个处理模块都可以从分布式队列中获取爬取请求，处理模块根据获取到的爬取请求爬取数据后，如果数据中仍包括链接，则可以继续将该链接封装成新的爬取请求，将该新的爬取请求投递至分布式队列中，这样，各处理模块可以并行爬取数据，提高了爬取效率。
处理模块分布式队列存储介质电子设备数据获取链接集群封装投递并行申请

[发明专利]一种增量更新与爬取技术-CN201310040088.5在审
发明人：尹科 -专利权人：北京英富森信息技术有限公司
申请日： 2013-02-01 - 公布日： 2014-08-06 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种增量更新与爬取技术，包括：判断待爬取网页内容的UR是否为静态页面的链接地址；当待爬取网页内容的URL为静态页面的链接地址时，判断所述URL是否爬取过，是则用所述URL替换已存储的URL；否则，根据爬取日期创建年/月/日/URL链接地址的文件夹，将待爬取网页的内容存储到所述文件夹中。本发明通过每次获取待爬取网页的URL时，判断所述URL是属于静态页面的还是动态页面的链接地址。如果是静态页面的，则判断所述URL是否已经爬取过，如已经爬取过则不进行爬取，直接将已经爬取过的URL替换成现有的链接地址存储，实现了静态页面的增量更新存储的要求，从而减少爬虫系统更新页面的工作量，提升了页面的新鲜度
一种增量更新技术

[发明专利]网站数据爬取方法、装置、计算机设备及可读存储介质-CN201710620026.X有效
发明人：李江华;李武奇 -专利权人：深圳壹账通智能科技有限公司
申请日： 2017-07-26 - 公布日： 2020-08-28 - 主分类号： G06F16/955 文献下载
摘要：本发明涉及一种网站数据爬取方法、装置、计算机设备及可读存储介质，该方法包括获取待爬取网站数据的数据标识和产生日期；获取本地存储的与数据标识对应的网站数据的产生日期；当待爬取网站数据的产生日期与本地存储的网站数据的产生日期不同时，则爬取并输出产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式相同时，则输出本地存储的产生日期与所述待爬取网站数据的产生日期相同的网站数据上述的网站数据爬取方法、装置、计算机设备及可读存储介质，可以直接输出本地存储的网站数据，减少爬取的数据量，从而可以提高爬取数据的输出显示速度。
网站数据方法装置计算机设备可读存储介质

[发明专利]网页链接的爬取方法及装置-CN201510463687.7有效
发明人：孙德彬;冯鸳鹤 -专利权人：北京国双科技有限公司
申请日： 2015-07-31 - 公布日： 2019-12-10 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网页链接的爬取方法及装置。该网页链接的爬取方法包括：获取爬取失败的网页链接；基于超时时间参数集合对网页链接重新进行爬取，得到爬取结果，其中，超时时间参数集合中包括至少两个不同的超时时间参数；根据爬取结果判断网页链接是否为无效的网页链接；以及如果判断出网页链接为无效的网页链接，则不再对网页链接进行爬取。通过本发明，解决了相关技术中对无效的网页链接进行爬取会造成爬虫资源的浪费的问题。
网页链接方法装置

[发明专利]网页爬取请求处理方法和装置-CN201510728872.4有效
发明人：何熠皓 -专利权人：北京国双科技有限公司
申请日： 2015-10-30 - 公布日： 2020-02-28 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种网页爬取请求处理方法和装置。其中，该方法包括：获取新解析得到的待爬取请求，其中，待爬取请求包括待爬取页面的链接；判断是否存在存储文件，其中，存储文件用于存储待爬取请求；在判断出不存在存储文件时，将新解析得到的待爬取请求存储于请求队列中；以及在判断出存在存储文件时，将新解析得到的待爬取请求存储于存储文件中。本申请解决了直接将大量的网页爬取请求存储于内存中耗费内存空间的技术问题。
网页请求处理方法装置

[发明专利]一种数据爬取方法、装置、设备和介质-CN201911266670.7在审
发明人：王鸣鹿;郑羽;周雷皓 -专利权人：北京启迪区块链科技发展有限公司
申请日： 2019-12-11 - 公布日： 2020-03-27 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种数据爬取方法、装置、设备和介质。该方法由分布式爬虫系统中的从服务器执行，其中，该方法包括：从主服务器的共享消息队列中获取目标待爬取请求信息；所述共享消息队列包括定时爬取目标网站获取的待爬取信息，以及第三方请求发送的待爬取信息；从候选爬取模块中确定目标待爬取请求信息的目标爬取模块，用于对所述目标待爬取请求信息进行爬取，得到目标待爬取请求信息的目标数据信息。
一种数据方法装置设备介质

[发明专利]执行爬取任务的方法和装置-CN201410779535.3在审
发明人：何恺铎 -专利权人：北京国双科技有限公司
申请日： 2014-12-15 - 公布日： 2015-04-01 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种执行爬取任务的方法和装置。其中，该方法包括：第一终端将接收到的爬取请求发送至云服务器的云端分布式队列；第二终端从云端分布式队列中读取爬取请求，其中，第二终端为云终端；第二终端按照爬取请求进行网络资源的爬取，并将爬取结果数据保存至数据库；第一终端从数据库读取爬取结果数据。采用本发明，解决了现有技术中使用单机执行爬取任务效率低且IP地址容易被屏蔽的问题，达到了在避免被服务器屏蔽的情况下提高执行爬取请求效率的效果。
执行任务方法装置

[发明专利]数据爬取方法及装置-CN201610096587.X在审
发明人：李可欣 -专利权人：北京国双科技有限公司
申请日： 2016-02-22 - 公布日： 2017-08-29 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种数据爬取方法及装置，涉及数据处理技术领域，解决了现有的数据爬取方法爬取数据重复率较高的问题。本发明的主要技术方案为接收爬虫程序发送的页面爬取请求信息，所述页面爬取请求信息中包括列表页链接；判断缓存队列中是否存在所述列表页链接，所述缓存队列中存储有爬虫程序已经爬取过的列表页链接；若所述缓存队列中不存在所述列表页链接，则向所述爬虫程序发送所述页面爬取请求的确认信息，以使得所述爬虫程序对所述列表页链接对应的页面进行爬取。本发明主要用于爬取网页数据。
数据方法装置

[发明专利]分布式爬虫任务调度方法、装置、设备及计算机可读介质-CN202010930417.3在审
发明人：王俊杰;刘远;高雅 -专利权人：北京明略软件系统有限公司
申请日： 2020-09-07 - 公布日： 2020-12-18 - 主分类号： G06F16/951 文献下载
摘要：该方法包括：获取待爬取网站的目标网络地址，待爬取网站为目标爬取任务中对应的数据爬取网站，目标网络地址用于表示待爬取网站的互联网协议地址；提取与目标网络地址的网络时延在阈值范围内的第一爬虫节点，网络时延用于表示爬虫节点与待爬取网站的网络距离，爬虫节点为分布式爬虫节点；将第一爬虫节点作为执行目标爬取任务的目标节点。本申请可以充分利用分布式爬虫系统爬取不同任务效率不同的特点，将爬取任务调度到最优爬虫节点上，实现高效率的内容爬取，以提高分布式爬虫系统的响应速度，同时保证一定程度的负载均衡。
分布式爬虫任务调度方法装置设备计算机可读介质

[发明专利]网页信息爬取的处理方法和装置-CN201811161908.5在审
发明人：陈发发 -专利权人：北京国双科技有限公司
申请日： 2018-09-30 - 公布日： 2020-04-07 - 主分类号： G06F16/9535 文献下载
摘要：本申请公开了一种网页信息爬取的处理方法和装置。该方法包括：获取目标网页的爬取结果，爬取结果包括：成功爬取的网页信息的链接和被过滤的网页信息的链接，成功爬取的网页信息的链接和被过滤的网页信息的链接进行区别显示；根据爬取结果确定目标网页中的目标信息的链接是否被成功爬取
网页信息处理方法装置

[发明专利]一种网站网页源代码自动爬取方法-CN201810297883.5在审
发明人：杨智;陈锭敏 -专利权人：中山大学
申请日： 2018-03-30 - 公布日： 2018-10-16 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种网站网页源代码自动爬取方法，在确定好的网站中爬取网页，使得爬取的网页比较集中，有着比较明显的共同特性，方便在编写爬虫程序爬取网页。而且在特定的网站爬取网页，使得要爬取的目标信息比较集中，能够完整得快速得爬取到所需要的信息。在爬取网站网页源代码上，能够有效得伪装成浏览器发出的网页请求，防止被网站识别为机器代码在爬取网站数据。通过设置一定的等待时间，使得当网站或者网络出现异常情况而未对爬虫程序做出反应时代码报错停止运行，能够长时间自动得运行代码爬取网页源代码。通过添加代理IP地址数据库，能够有效地防止当爬虫代码被封锁IP拒绝访问网站时，程序还能自动更换IP继续爬取网页源代码。
源代码网站网页网页网站网页源代码爬虫程序代理IP地址爬虫访问网站机器代码目标信息停止运行网页请求网站识别网站数据运行代码自动更换反应时有效地浏览器报错伪装数据库封锁网络

[发明专利]信息爬取方法与装置-CN201710994107.6在审
发明人：苑海江;党启贺 -专利权人：北京京东金融科技控股有限公司
申请日： 2017-10-23 - 公布日： 2018-02-23 - 主分类号： G06F17/30 文献下载
摘要：本公开提供一种信息爬取方法与装置，方法包括获取根据目标网站的网页结构以及信息爬取需求生成的配置文件；根据所述配置文件执行对所述网站的信息爬取任务。本公开提供的信息爬取方法可以提升信息爬取效率。
信息方法装置

[发明专利]数据爬取方法、装置、计算机系统和计算机可读存储介质-CN202110195017.7在审
发明人：朱培航;乔媛;介晓伟;李婷婷 -专利权人：中国工商银行股份有限公司
申请日： 2021-02-20 - 公布日： 2021-06-15 - 主分类号： G06F16/951 文献下载
摘要：本公开提供了一种数据爬取方法、数据爬取装置、计算机系统、计算机可读存储介质和计算机程序产品，可用于信息安全、物联网领域或其他领域。其中，该方法包括：利用数据流引擎获取由数据分片构成的数据集合，其中，数据分片是根据客户端预爬取的网页端数据构造得到的；根据数据集合中的数据分片从网页端爬取网页数据，生成目标爬取数据；以及将目标爬取数据发送至客户端，以使得客户端根据目标爬取数据确定预爬取的网页端数据。
数据方法装置计算机系统计算机可读存储介质

[发明专利]一种对爬取链接排序的方法、装置及存储介质-CN201910940971.7在审
发明人：曾庆维 -专利权人：顺丰科技有限公司
申请日： 2019-09-30 - 公布日： 2021-03-30 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例提供一种对爬取链接排序的方法、装置及存储介质，方法包括：获取多个网站的权威性信息；确定待爬取的爬取主题；根据各网站的权威性信息和爬取主题分别为各网站设置优先级，其中，权威性信息指示的权威性与网站的优先级成正关系；根据各网站的优先级生成网站优先级队列；按照所述网站优先级队列中各网站的优先级依次进行爬取操作。采用本方案，能够提供更合理的爬取顺序，从而提高爬取效率和爬取质量。
一种链接排序方法装置存储介质

[发明专利]爬虫任务完成的判断方法和装置-CN201510624770.8有效
发明人：崔志伸 -专利权人：北京国双科技有限公司
申请日： 2015-09-25 - 公布日： 2020-02-07 - 主分类号： G06F16/951 文献下载
摘要：其中，该方法包括：在当前爬取子任务结束时，累计执行过的所有爬取子任务得到的链接的数量，得到累计链接数；累计执行所有爬取子任务时爬取失败的链接数量、爬取成功的链接数量和无效链接的数量；当爬取失败的链接数量、爬取成功的链接数量和无效链接的数量的总和与链接总数相同时，确定爬虫任务结束，其中，链接总数为累计链接数加1得到。本申请解决了无法准确确定爬取任务的结束时间的技术问题。
爬虫任务完成判断方法装置