“爬取器”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果9056705个，建议您升级VIP下载更多相关专利

[发明专利]网页数据爬取方法、装置、用户终端及可读存储介质-CN201710619263.4在审
发明人：周晶 -专利权人：上海壹账通金融科技有限公司
申请日： 2017-07-26 - 公布日： 2018-02-13 - 主分类号： H04L29/06 文献下载
摘要：本发明涉及一种网页数据爬取方法、装置、用户终端及可读存储介质，该方法包括通过客户端嵌入的待爬取网站登录界面，接收输入的与待爬取网站对应的账户和密码，通过与待爬取网站对应的账户和密码登录待爬取网站；检测是否成功登录待爬取网站；当成功登录待爬取网站时，则判断客户端的账户与待爬取网站的账户是否匹配；当匹配时，则爬取待爬取网站中的待爬取数据；将所爬取的待爬取数据发送至服务器。上述网页数据爬取方法、装置、用户终端及可读存储介质，通过客户端来爬取待爬取网站中的待爬取数据，可以避免在服务器端爬取待爬取网站中的待爬取数据触发风控机制，导致用户账户被锁等情况的发生。
网页数据方法装置用户终端可读存储介质

[发明专利]一种信息爬取系统-CN201910510474.3有效
发明人：胡崇海;熊友根;王洪涛 -专利权人：海通证券股份有限公司
申请日： 2019-06-13 - 公布日： 2021-07-27 - 主分类号： G06F16/951 文献下载
摘要：一种信息爬取系统，所述信息爬取系统包括：多个智能爬取节点，所述智能爬取节点部署在多个拨号虚拟专用服务器上，基于信息爬取时间与信息爬取状态，动态切换所述拨号虚拟专用服务器的IP地址；资源调度系统，所述资源调度系统基于调度算法将待爬取链接分配给所述智能爬取节点以使其执行爬取操作，并从各个智能爬取节点接收爬取结果。通过本发明提供的技术方案，可以建立稳定的爬虫系统，有效应对反爬策略，实现数据的持续获取。
一种信息系统

[发明专利]基于Docker的数据采集方法、装置及计算机设备、存储介质-CN201910548256.9在审
发明人：林岳鹏;吕东玉;张川 -专利权人：平安国际智慧城市科技股份有限公司
申请日： 2019-06-24 - 公布日： 2019-11-15 - 主分类号： G06F16/951 文献下载
摘要：本发明属于大数据技术领域，涉及一种基于Docker的数据采集方法、装置及计算机设备、存储介质，所述方法包括获取数据采集任务，根据所述数据采集任务向至少一个云服务器发送爬取程序容器的镜像；根据所述爬取程序容器的镜像在每个所述云服务器中生成至少一个爬取程序容器，所述爬取程序容器中运行爬取程序成为爬取节点；将所述数据采集任务发送至所述爬取节点中，并通过所述爬取节点对所述数据采集任务执行数据采集操作。本发明提供的方案通过Docker技术，可将爬取程序容器镜像发送至至少一个云服务器，且同一云服务器中可自动部署多个爬取节点，占用系统资源少，可有效利用云服务器资源，实现爬取节点按需增加，各爬取节点之间隔离性强
程序容器数据采集云服务器发送计算机设备系统稳定性存储介质获取数据任务发送任务执行系统资源自动部署大数据隔离性采集占用

[发明专利]网页爬取的配置方法、应用服务器及计算机可读存储介质-CN201810119441.1在审
发明人：蔡俊 -专利权人：平安科技（深圳）有限公司
申请日： 2018-02-06 - 公布日： 2018-09-04 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种网页爬取的配置方法，所述方法包括：接收用户输入的爬取网址；设置爬取信息类型；设置爬取任务处理节点；从所述爬取网址的网页上的链接转入所述爬取任务处理节点；在所述爬取任务处理节点上依据所述爬取信息类型爬取相应信息本发明还提供一种应用服务器及计算机可读存储介质。本发明提供的网页爬取的配置方法、应用服务器及计算机可读存储介质，可以灵活的对爬取深度进行控制，同时还可以在网页爬取的过程中，就能实现数据的归类整理，提高了整个数据爬取及使用的效能。
网页计算机可读存储介质应用服务器任务处理信息类型网址配置接收用户灵活的归类链接转入

[发明专利]网页数据爬取方法、装置、网页数据爬取平台及存储介质-CN201710744090.9有效
发明人：艾明 -专利权人：深圳壹账通智能科技有限公司
申请日： 2017-08-25 - 公布日： 2020-05-01 - 主分类号： G06F16/955 文献下载
摘要：本发明涉及一种网页数据爬取方法。该方法包括获取待爬取网页的网页地址，根据所述待爬取网页的网页地址，获取所述待爬取网页的对应的有效登录数据；根据有效登录数据，从网络地址库中随机选取可用的网络地址；经验证成功后登录所述待爬取网页，并根据与所述待爬取网页相对应的渲染方式渲染所述待爬取网页；爬取已渲染完成的所述待爬取网页获取待爬取网页数据。本发明的网页数据爬取方法、装置、网页数据爬取平台季存储介质，每次登录时都可以随机选取可用的网络地址，从而防止多个账户通过同一个服务器进行登录时，会触发待爬取网页的风控机制，导致服务器被列入黑名单，保证成功登录待爬取网页，进而成功爬取待爬取网页数据，提高可用性。
网页数据方法装置平台存储介质

[发明专利]一种爬取数据的方法及装置-CN201811145420.3在审
发明人：陆生辉 -专利权人：北京国双科技有限公司
申请日： 2018-09-29 - 公布日： 2020-04-07 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种爬取数据的方法及装置，以解决数据爬取程序无法不断地执行任务的问题。该方法包括：后台服务接收服务器发送的任务信息，所述任务信息用于指示爬取用户界面中的数据；所述后台服务响应所述任务信息，向数据爬取程序发送所述任务信息；所述后台服务接收所述数据爬取程序的爬取结果，并将所述爬取结果发送给所述服务器，所述爬取结果为所述数据爬取程序根据所述任务信息爬取的所述用户界面中的数据。
一种数据方法装置

[发明专利]获取代理服务器地址的方法和装置-CN201510609711.3在审
发明人：兰光明 -专利权人：北京国双科技有限公司
申请日： 2015-09-22 - 公布日： 2017-03-29 - 主分类号： G06F17/30 文献下载
摘要：本申请公开了一种获取代理服务器地址的方法和装置。其中，该方法包括收集代理服务器地址，得到代理服务器地址集；分别利用代理服务器地址集中每一个代理服务器地址分多次来爬取网页数据，记录爬取结果；分别统计每一个代理服务器地址的爬取结果中成功爬取数据的次数，根据成功爬取数据的次数计算每一个代理服务器地址的爬取网页数据的成功率；依据爬取网页数据的成功率从代理服务器地址集中选择用于爬取网页数据的代理服务器地址。本申请解决了由于使用质量差的代理服务器地址造成数据爬取效率低的技术问题。
获取代理服务器地址方法装置

[发明专利]数据爬取方法、装置、存储介质及服务器-CN202210373689.7在审
发明人：张似衡 -专利权人：广州视源电子科技股份有限公司;广州视源人工智能创新研究院有限公司
申请日： 2022-04-11 - 公布日： 2023-10-24 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种数据爬取方法、装置、存储介质以及服务器，其中方法包括：接收爬虫发送的多个数据爬取请求，按照各所述数据爬取请求的优先级从高到低的顺序对所述多个数据爬取请求进行排序，将排序后的所述多个数据爬取请求依次发送至下载器，以使所述下载器下载各所述数据爬取请求分别对应的网页，以使所述爬虫分别对各所述网页进行解析得到对应的第一数据并发送至元素管道。采用本申请实施例，通过对多个数据爬取请求按照优先级进行排序后，按照排列顺序进行数据的爬取，从而实现根据数据爬取请求的优先级完成数据爬取，节省了优先级高的请求的等待时长，提高数据爬取的效率。
数据方法装置存储介质服务器

[发明专利]一种网页数据爬取方法与系统-CN201911242411.0在审
发明人：林浩;劳永聪;郑志勇 -专利权人：广州探途网络技术有限公司
申请日： 2019-12-06 - 公布日： 2020-05-01 - 主分类号： G06F16/951 文献下载
摘要：本申请提供了一种网页数据爬取方法与系统，涉及数据爬取技术领域。该方法应用于网页爬取系统，系统包括第一服务器与至少一个第二服务器，通过第一服务器向至少一个第二服务器发送镜像文件，其中，镜像文件包括linux系统、爬虫系统以及待爬取参数，然后由第二服务器对镜像文件进行解析，以启动所述爬虫系统，并获取待爬取参数，再通过第二服务器依据待爬取参数访问第三服务器，并从第三服务器中爬取与待爬取参数对应的目标数据，最后通过第二服务器将目标数据发送至第一服务器。本申请提供的网页数据爬取方法与系统具有减小了服务器的性能开销以及服务器部署更加简单且不受区域限制的效果。
一种网页数据方法系统

[发明专利]网络爬虫集群信息的更新方法和装置-CN201510579940.5有效
发明人：崔志伸 -专利权人：北京国双科技有限公司
申请日： 2015-09-11 - 公布日： 2019-11-12 - 主分类号： G06F16/951 文献下载
摘要：其中，网络爬虫集群中每个网络爬虫配备一个本地检查器，该方法包括：目标本地检查器根据其对应的网络爬虫发送的消息在该目标本地检查器中查询是否存在目标爬取链接，其中，消息中携带有目标爬取链接；在查询出不存在目标爬取链接时，目标本地检查器保存目标爬取链接，并向其他本地检查器发送携带有目标爬取链接的广播，以使其他本地检查器依据广播更新爬取链接。本申请解决了相关技术中网络爬虫的爬取效率比较低的技术问题。
网络爬虫集群信息更新方法装置

[发明专利]页面爬取方法、装置、存储介质及处理器-CN201710794640.8有效
发明人：崔志伸 -专利权人：北京国双科技有限公司
申请日： 2017-09-05 - 公布日： 2021-07-30 - 主分类号： G06F16/951 文献下载
摘要：本发明提供了一种页面爬取方法、装置、存储介质及处理器，其中，该方法包括：获取页面爬取任务，其中，页面爬取任务包括爬取多个网页的任务，且爬取多个网页的任务为需要使用相同IP地址爬取的任务；从预设的代理IP采用上述技术方案，解决了使用相同IP地址爬取页面的爬取效率较低的问题，提高了使用相同IP地址爬取页面的爬取效率。
页面方法装置存储介质处理器

[发明专利]执行爬取任务的方法和装置-CN201410779535.3在审
发明人：何恺铎 -专利权人：北京国双科技有限公司
申请日： 2014-12-15 - 公布日： 2015-04-01 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种执行爬取任务的方法和装置。其中，该方法包括：第一终端将接收到的爬取请求发送至云服务器的云端分布式队列；第二终端从云端分布式队列中读取爬取请求，其中，第二终端为云终端；第二终端按照爬取请求进行网络资源的爬取，并将爬取结果数据保存至数据库；第一终端从数据库读取爬取结果数据。采用本发明，解决了现有技术中使用单机执行爬取任务效率低且IP地址容易被屏蔽的问题，达到了在避免被服务器屏蔽的情况下提高执行爬取请求效率的效果。
执行任务方法装置

[发明专利]一种数据爬取方法、装置、设备和介质-CN201911266670.7在审
发明人：王鸣鹿;郑羽;周雷皓 -专利权人：北京启迪区块链科技发展有限公司
申请日： 2019-12-11 - 公布日： 2020-03-27 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种数据爬取方法、装置、设备和介质。该方法由分布式爬虫系统中的从服务器执行，其中，该方法包括：从主服务器的共享消息队列中获取目标待爬取请求信息；所述共享消息队列包括定时爬取目标网站获取的待爬取信息，以及第三方请求发送的待爬取信息；从候选爬取模块中确定目标待爬取请求信息的目标爬取模块，用于对所述目标待爬取请求信息进行爬取，得到目标待爬取请求信息的目标数据信息。
一种数据方法装置设备介质

[发明专利]一种基于浏览器爬取数据的方法及装置-CN201710842546.5有效
发明人：满悦 -专利权人：北京国双科技有限公司
申请日： 2017-09-18 - 公布日： 2021-08-13 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种基于浏览器爬取数据的方法及装置，涉及互联网技术领域，能够保证了爬取网络数据的完整性、准确性，同时也提高了爬取工作效率，本发明的主要技术方案为：在浏览器的标签页中加载目标页面；判断所述目标页面中的异步加载数据是否加载完成；若完成，则在所述标签页中嵌入数据爬取脚本文件；利用所述数据爬取脚本文件爬取所述目标页面的数据内容，所述数据内容包括所述异步加载数据。本发明主要应用于基于浏览器爬取数据。
一种基于浏览器数据方法装置

[发明专利]网页数据的爬取方法、装置、计算机设备和存储介质-CN202010224236.9在审
发明人：许剑勇 -专利权人：深圳壹账通智能科技有限公司
申请日： 2020-03-26 - 公布日： 2020-07-28 - 主分类号： G06F16/951 文献下载
摘要：本申请涉及一种网页数据的爬取方法、装置、计算机设备和存储介质。所述方法包括：执行预下发的数据爬取任务；所述数据爬取任务用于指示所述爬取服务器调用对应的目标爬虫程序对待爬取网页进行数据爬取操作；当检测到所述待爬取网页需要进行验证时，触发所述待爬取网页的网页服务器向用户终端发送验证码，以使所述用户终端接收所述验证码并上传所述验证码至后台服务器进行储存：根据所述用户终端的终端标识，在所述后台服务器储存的多个所述验证码中，确定目标验证码；发送所述目标验证码至所述网页服务器中进行验证。
网页数据方法装置计算机设备存储介质

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条