“爬取贴文”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网_专利查询网

首页在售求购查询申请展会资讯专利榜企服商城升级VIP

立即登录免费注册

在售专利
求购专利
查询专利
新闻资讯
技术展会
招商加盟
专利榜

本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247 本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247 本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247

本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247 本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247 本网专利代理业务由天津创信方达专利代理事务所(普通合伙)承接机构代码：12247

专利名称

专利名称
专利号码
专利分类
申请人
公布日期

农业化学；冶金建筑机械工程区域搜索

主分类

B 作业；运输

C 化学；冶金

D 纺织；造纸

E 固定建筑物

F 机械工程、照明、加热

专利下载VIP

公布日期

2023-10-24 公布专利

2023-10-20 公布专利

2023-10-17 公布专利

2023-10-13 公布专利

2023-10-10 公布专利

2023-10-03 公布专利

2023-09-29 公布专利

2023-09-26 公布专利

2023-09-22 公布专利

2023-09-19 公布专利

专利权人

国家电网公司

华为技术有限公司

中兴通讯股份有限公司

三星电子株式会社

中国石油化工股份有限公司

鸿海精密工业股份有限公司

松下电器产业株式会社

上海交通大学

钻瓜专利网为您找到相关结果920854个，建议您升级VIP下载更多相关专利

[发明专利]一种微博博文情感分析评估推送方法-CN202011570993.8在审
发明人：黄秀君;李清秋;王峥 -专利权人：河海大学
申请日： 2020-12-26 - 公布日： 2021-04-06 - 主分类号： G06F16/9536 文献下载
摘要：本发明公开了一种微博博文情感分析评估推送方法，本发明所述方法主要通过爬虫技术获取所需的数据，并存储在数据库中；利用自然语言处理技术和图像识别技术分别对爬取的博文数据中的文本和图像进行处理，再将处理后的数据结果汇总并进行评估，为微博文本中的词汇进行归类，最终结果可视化为各类情感标签并进行实时推送，可以实现对个别敏感博文进行立场检测，识别是否包含抑郁倾向再进行示警，为研究现代青年emo提供可靠方式。
一种微博博文情分析评估推送方法

[发明专利]基于网络爬虫的漏洞扫描方法、装置、设备和存储介质-CN202011396260.7在审
发明人：刘伟雄;李泳权 -专利权人：广州万方计算机科技有限公司
申请日： 2020-12-03 - 公布日： 2021-03-16 - 主分类号： G06F21/57 文献下载
摘要：该方法包括：根据预设的待爬取列表获取对应的待爬取网页以及所述待爬取网页的有效URL；对所述有效URL进行排序过滤，并更新当前爬虫深度；将含有预设关键字的有效URL转换为标准URL；在预设的爬取集合对所述标准URL进行查重，根据查重的结果对所述爬取集合进行更新；当所述待爬取列表为空或爬虫深度超过预设的深度极限值，终止爬虫扫描。通过宽度优先可以尽可能多地覆盖网页，同时通过深度极限值控制爬虫对一条路径的爬取过于深入，实现了爬取深度和爬取宽度的较好平衡，在提高爬取速度的同时保证合适的爬取宽度。
基于网络爬虫漏洞扫描方法装置设备存储介质

[发明专利]数据爬取方法、装置、存储介质及服务器-CN202210373689.7在审
发明人：张似衡 -专利权人：广州视源电子科技股份有限公司;广州视源人工智能创新研究院有限公司
申请日： 2022-04-11 - 公布日： 2023-10-24 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种数据爬取方法、装置、存储介质以及服务器，其中方法包括：接收爬虫发送的多个数据爬取请求，按照各所述数据爬取请求的优先级从高到低的顺序对所述多个数据爬取请求进行排序，将排序后的所述多个数据爬取请求依次发送至下载器，以使所述下载器下载各所述数据爬取请求分别对应的网页，以使所述爬虫分别对各所述网页进行解析得到对应的第一数据并发送至元素管道。采用本申请实施例，通过对多个数据爬取请求按照优先级进行排序后，按照排列顺序进行数据的爬取，从而实现根据数据爬取请求的优先级完成数据爬取，节省了优先级高的请求的等待时长，提高数据爬取的效率。
数据方法装置存储介质服务器

[发明专利]用于爬虫的数据处理方法及装置-CN201510729799.2在审
发明人：杨杰 -专利权人：北京国双科技有限公司
申请日： 2015-10-30 - 公布日： 2017-05-10 - 主分类号： G06F17/30 文献下载
摘要：其中，该方法包括获取待爬取任务信息，其中，待爬取任务信息中至少包括待爬取任务对应的预设分页数量；将待爬取任务的第一分页作为当前分页，对当前分页执行如下步骤，直到与当前分页对应的当前已爬取分页数量等于预设分页数量为止爬取当前分页，累计当前已爬取分页数量；将当前已爬取分页数量与预设分页数量进行比较；当当前已爬取分页数量小于预设分页数量时，将当前分页的下一分页作为当前分页。本发明解决了由于对具有分页机制的网页进行全部爬取，导致的服务器资源浪费的技术问题。
用于爬虫数据处理方法装置

[发明专利]网页爬取方法和装置-CN201611042702.1在审
发明人：李可欣 -专利权人：北京国双科技有限公司
申请日： 2016-11-23 - 公布日： 2018-05-29 - 主分类号： G06F17/30 文献下载
摘要：本申请公开了一种网页爬取方法和装置。其中，该方法包括：从爬取任务中查找目标登录验证信息，其中，爬取任务为网络爬虫爬取目标网页的页面内容的任务，目标登录验证信息用于表示爬虫具有爬取页面内容的权限；判断是否从爬取任务中查找到了目标登录验证信息；如果判断出没有从爬取任务中查找到目标登录验证信息，则根据预配置文件查找目标登录验证信息，其中，预配置文件中包含多个网页的登录验证信息；根据查找到的目标登录验证信息爬取目标网页中的页面内容。本申请解决了现有技术中爬虫在执行爬取任务时由于目标登录验证信息失效导致爬取任务失败的技术问题。
目标登录验证信息页面内容方法和装置爬虫登录验证目标网页网页配置文件查找查找目标配置文件网络爬虫申请查找权限失败

[发明专利]一种基于爬取技术的大数据采集接口及采集方法-CN201910193666.6在审
发明人：马文;黄祖源;耿贞伟;赵晓平;苏文伟;张新阳;李辉;张雪坚 -专利权人：云南电网有限责任公司信息中心;云南包尔科技有限公司
申请日： 2019-03-14 - 公布日： 2019-06-21 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种基于爬取技术的大数据采集接口及采集方法，其中方法包括以下步骤：通过爬取模块从网络服务器中爬取数据信息；将爬取模块爬取的数据信息存储于数据存储模块；通过数据分析模块将爬取模块爬取的数据信息与预先存储于对比模块内的数据信息进行比对所述爬取模块定时爬取数据信息。本发明基于爬取技术快速有效的采集大数据，并可对大数据进行提取分析，得到处理数据，并快速地发送至接收端，提高了大数据的采集分析效率。
大数据数据信息处理数据采集采集接口接收端数据处理模块数据存储模块数据分析模块数据信息存储发送网络服务器对比模块发送模块分析处理分析效率预先存储比对外部分析

[发明专利]数据爬取方法、装置、服务器及存储介质-CN202010610746.X在审
发明人：杜晓宇 -专利权人：平安国际智慧城市科技股份有限公司
申请日： 2020-06-29 - 公布日： 2020-10-09 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及大数据技术领域，提供一种数据爬取方法，所述方法包括：根据预设调度规则，获取多个待爬取链接；确定每个所述待爬取链接的类型；根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。本发明还提供一种数据爬取装置、服务器及存储介质。本发明能提高数据爬取的成功率。此外，本发明还涉及区块链技术，目标数据可存储于区块链节点中。
数据方法装置服务器存储介质

[发明专利]分布式数据爬取系统、方法和存储介质-CN201910717426.1在审
发明人：肖淋峰;吴志坚 -专利权人：深圳乐信软件技术有限公司
申请日： 2019-08-05 - 公布日： 2019-11-15 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种分布式数据爬取系统、方法和存储介质。本发明提供的系统包括：主节点和至少一个从节点；所述主节点用于管理各所述从节点，并将接收到的爬取任务发送给各所述从节点；各所述从节点中包括爬虫框架，所述从节点用于在所述爬虫框架下根据接收的爬取任务爬取数据本发明实施例的技术方案，通过主节点获取爬取任务并将爬取任务分配至从节点，从节点根据爬取任务进行数据爬取，实现了数据爬取请求的及时响应，减少了由于系统唤醒的时间延迟，避免了分布式爬取系统因为空转导致的性能浪费
主节点爬虫爬取系统空转分布式数据存储介质能源消耗任务分配系统唤醒响应管理

[发明专利]网页内容获取方法、装置和电子设备-CN202211700529.5在审
发明人：张浩然;单酉;朱泽;孙利晓 -专利权人：北京航天云路有限公司
申请日： 2022-12-28 - 公布日： 2023-05-09 - 主分类号： G06F16/951 文献下载
摘要：该方法包括：判断各子线程对应的各待爬取队列是否为空；当所述待爬取队列不为空时，运行爬取进程，在所述待爬取队列中爬取目标URL，以获取所述目标URL对应的网页；获取爬取所述目标URL后的响应信息；当所述响应信息为响应成功信息时该方法采用多线程的方式进行网页数据的获取，爬取速度快效率高，并且将爬取失败的目标URL重新加入到待爬取队列中，提高了网页数据爬取的稳定性。
网页内容获取方法装置电子设备

[发明专利]一种爬取网络数据的方法和装置-CN201510080944.9有效
发明人：刘杰 -专利权人：腾讯科技（深圳）有限公司
申请日： 2015-02-13 - 公布日： 2018-11-23 - 主分类号： H04L29/12 文献下载
摘要：本发明公开了一种爬取网络数据的方法和装置，属于互联网技术领域。所述方法包括：按照预设的轮询顺序，在预先存储的域名队列中逐个选取待爬取的域名；在每次选取待爬取的域名后，如果选取的域名上一次被爬取的时间与当前时间的时间间隔超过预设的时间间隔阈值，则在所述选取的域名对应的网址队列中抽取待爬取的网址，对所述待爬取的网址进行网络数据爬取，如果选取的域名上一次被爬取的时间与当前时间的时间间隔未超过预设的时间间隔阈值，则选取下一个待爬取的域名。采用本发明，可以提高爬取网络数据的效率。
一种网络数据方法装置

[发明专利]一种网站数据爬取方法及装置-CN201611249114.5有效
发明人：汤人杰;严昱超;周勋;张式勤;郭岳;于祥兵 -专利权人：中国移动通信集团浙江有限公司;中国移动通信集团公司
申请日： 2016-12-29 - 公布日： 2021-06-01 - 主分类号： G06F16/951 文献下载
摘要：本发明提供了一种网站数据爬取方法及装置。该方法包括：将待爬取的网站数据进行标准化处理，待爬取的网站数据包括多个统一资源定位符URL，获取各个统一资源定位符URL的正则表达式；根据各个统一资源定位符URL的正则表达式获取各个统一资源定位符URL的权重值，获取待爬取的统一资源定位符URL的正则表达式权重关系表；根据正则表达式权重关系表获取目标待爬取的网站数据，对目标待爬取的网站数据进行爬取。本发明降低了待爬取的统一资源定位符URL的数量，提高了爬取效率，同时提高了爬取的准确性。
一种网站数据方法装置

[发明专利]目标语料数据的爬取方法、装置及存储介质-CN201810876287.2有效
发明人：吴壮伟 -专利权人：平安科技（深圳）有限公司
申请日： 2018-08-03 - 公布日： 2023-04-07 - 主分类号： G06F16/955 文献下载
摘要：本发明提供一种目标语料数据的爬取方法，该方法在接收到目标信息的爬取请求后，首先确定爬取目标语料所需的爬取规则，调用爬取规则，依次从初始语料库中爬取第一标题页URL列表、第一列表页URL列表及第一内容页URL列表，然后爬取第一标题页URL列表对应的第二列表页URL列表，生成第三列表页URL列表，爬取第三列表页URL列表对应的第二内容页URL列表，生成第三内容页URL列表，以获取内容页数据，最后利用目标信息爬取规则爬取出目标信息利用本发明，可以提高爬取目标语料数据的效率及准确性。
目标语料数据方法装置存储介质

[发明专利]网页数据爬取方法、装置及本地服务器-CN202111336685.3在审
发明人：王梓琳;张弓;郑睿博;骆庚;任颖;何高波;陈子申 -专利权人：中煤(西安)地下空间科技发展有限公司
申请日： 2021-11-12 - 公布日： 2022-01-11 - 主分类号： G06F16/951 文献下载
摘要：本申请的实施例提供了一种网页数据爬取方法、装置及本地服务器，涉及数据爬取技术领域。本申请首先获取爬取配置信息，所述爬取配置信息包括下述至少一项：爬取周期、目标数据信息以及目标网页信息；所述目标数据信息包括：目标关键词；所述目标网页信息包括下述至少一项：目标网页的地址、目标网页的列表页地址以及目标网页详情页地址；根据所述爬取配置信息，爬取目标数据；将所述目标数据按照预设规则进行存储。本申请能够对于不同的网页制定不同的爬取规则，实现快速、有选择地爬取网页的目标数据。
网页数据方法装置本地服务器

[发明专利]一种网页爬虫的爬取时间频率选择方法及装置-CN202210968153.X在审
发明人：谭尼平 -专利权人：中电信数智科技有限公司
申请日： 2022-08-12 - 公布日： 2022-10-21 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及一种网页爬虫的爬取时间频率选择方法及装置,属于机器学习技术领域。方法包括：判断目标网站是否有反爬策略，若是，则获取所述目标网站的爬取时间频率临界值；构建训练数据，利用所述训练数据对模型进行训练，得到时间频率选择模型；调用所述时间频率选择模型，根据所述爬取时间频率临界值，输出最优的爬取时间频率。该方法能够自动选择针对目标网站的最优爬取时间频率，根据该最优爬取时间频率进行数据的爬取，提高了爬虫爬取数据的效率，减轻了技术人员的工作强度。
一种网页爬虫时间频率选择方法装置

[发明专利]一种爬虫的爬取方法及装置-CN201610196270.3在审
发明人：潘峰;孙德彬 -专利权人：北京国双科技有限公司
申请日： 2016-03-31 - 公布日： 2017-10-24 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种爬虫的爬取方法及装置，主要目的是提高了爬虫爬取过程中网址检查的速度，同时提高了检查的准确性。所述方法包括获取待爬取域名，对所述待爬取域名进行域名解析，根据解析的结果判断所述待爬取域名与预置域名是否相同，对与所述预置域名相同的待爬取域名进行爬取。本发明主要用于域名的解析。
一种爬虫方法装置

友情链接：交换友情链接需要网站权重大于4，网站收录10W以上，如符合条件，请联系QQ：76009968。

关于我们寻求报道投稿须知广告合作版权声明网站地图友情链接企业标识联系我们

在线咨询

400-8765-105周一至周五 9:00-18:00

版权所有钻瓜科技（天津）有限公司津ICP备15000985号津公网安备 12019202000206号http://www.vipzhuanli.com/公布日期

咨询在线客服

咨询在线客服

tel code back_top