“爬取贴文”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果920854个，建议您升级VIP下载更多相关专利

[发明专利]网页数据爬取方法、装置及存储介质-CN201810791126.3有效
发明人：吴壮伟 -专利权人：平安科技（深圳）有限公司
申请日： 2018-07-18 - 公布日： 2023-03-14 - 主分类号： G06F16/951 文献下载
摘要：本发明提供一种网页数据爬取方法，该方法根据接收的网页数据爬取请求读取第一URL列表，根据预先构建的docker镜像生成多个应用容器，将读取的所述第一URL列表划分为多个第二URL列表，并分别爬取所述多个第二URL列表中每条URL对应的网页数据，之后，该方法提取所述网页数据，并将所述网页数据发送至所述网页数据爬取请求对应的用户终端。利用本发明，可以提高网页数据爬取效率。
网页数据方法装置存储介质

[发明专利]一种微博文本分类系统-CN201911197204.8有效
发明人：吴渝;赵珍妮;李红波 -专利权人：重庆邮电大学
申请日： 2019-11-29 - 公布日： 2022-07-01 - 主分类号： G06F16/35 文献下载
摘要：本发明请求保护一种微博文本分类系统，具体包括以下模块：数据预处理模块，用python爬虫软件爬取微博博文信息和微博用户信息，清洗缺失的数据，并根据情感极性进行人工打标；词向量词性增强模块：通过word2vec构造微博博文信息的词向量，在原始词向量的基础上，根据情感词词典和程度副词词典增强词性信息；新特征构造模块：用于对微博用户信息进行特征提取工作，在原始特征的基础上构造出新的特征；分类模块：利用改进的textCNN
一种文本分类系统

[发明专利]论坛目录页内容解析方法和装置-CN201511017222.5在审
发明人：兰光明 -专利权人：北京国双科技有限公司
申请日： 2015-12-29 - 公布日： 2017-07-07 - 主分类号： G06F17/30 文献下载
摘要：其中，该方法包括按照预设排序规则爬取论坛目录页中的文章，得到爬取结果，其中，预设排序规则用于使论坛目录页中的文章按照发表时间排序；按照预设顺序依次解析爬取结果中的文章；判断当前解析的文章的发表时间是否晚于预设时间；在判断出当前解析的文章的发表时间晚于预设时间时，继续解析爬取结果中的文章；以及在判断出当前解析的文章的发表时间不晚于预设时间时，停止解析爬取结果中的文章。本申请解决了相关技术中解析爬取到的论坛目录页内容时浪费资源的技术问题。
论坛目录内容解析方法装置

[发明专利]一种基于MT5预训练模型的学者职称和年龄预测方法和装置-CN202111371097.3在审
发明人：于凯;王路路;刘佳;仇瑜;张鹏;刘德兵 -专利权人：北京智谱华章科技有限公司
申请日： 2021-11-18 - 公布日： 2022-04-08 - 主分类号： G06F16/335 文献下载
摘要：本发明公开了一种基于MT5预训练模型的学者职称和年龄预测方法和装置，其中，该方法包括：根据标注学者姓名、机构爬取网页搜索结果以获取训练文本；对训练文本的文本数据进行清洗，以抽取出文本信息，其中，对超过模型预设长度文本的异常文本，进行RNN特征提取，以获得维度匹配的第一文本向量；将正常文本的内容序列化以转成第二文本向量，连同第一文本向量同时输入微调后的MT5预训练模型，训练生成对应的文本答案；将文本答案结构化，并评测训练好的模型以生成学者职称和年龄的输出结果
一种基于 mt5 训练模型学者职称年龄预测方法装置

[发明专利]基于堆叠降噪自编码机的广告博文识别方法-CN201710786627.8有效
发明人：黄青松;李帅彬;栾杰;郎冬冬;郭勃;刘骊;付晓东;宋莉娜 -专利权人：昆明理工大学
申请日： 2017-09-04 - 公布日： 2021-01-05 - 主分类号： G06F40/126 文献下载
摘要：本发明涉及基于堆叠降噪自编码机的广告博文识别方法，属于自然语言处理技术领域。首先爬取微博数据，通过人工标注得到训练集和测试集语料。其次，对广告博文分析构建微博的文本特征向量表示、人工定义的特征向量表示，再使用堆叠降噪自编码机对两种特征向量进行特征选择，获得处理后的两种特征向量，将这两种特征向量放入最大熵中，分别得到基于文本特征向量和基于人工定义特征向量的最优广告识别模型最后，找出分类效果最好的模型识别广告博文。本发明解决了特征冗余的问题，提高了模型的识别率，降低了应用的难度。
基于堆叠编码广告识别方法

[发明专利]一种分布式网络爬虫的信息爬取方法、服务器及存储介质-CN201711478979.3在审
发明人：徐松柏 -专利权人：广州TCL智能家居科技有限公司
申请日： 2017-12-29 - 公布日： 2019-02-19 - 主分类号： G06F16/951 文献下载
摘要：本发明提供了一种分布式网络爬虫的信息爬取方法、服务器及存储介质，通过利用获取到的多个IP同时进行网络URL爬取，并将爬取到的URL编码为key值存储到redis集群中；多个爬虫客户端同时从所述redis本发明所提供的信息爬取方法使用多台设备利用多个IP进行协作，同时对Internet上的所有URL进行爬取，实现更好，更快的，更准确的从海量的网络资源中获取到有用的信息。
爬虫分布式网络存储介质集群服务器多台设备方法使用目标信息网络资源客户端解析存储协作网络

[发明专利]一种分布式深度爬取的方法、装置及介质-CN202111182163.2在审
发明人：李玉峰 -专利权人：上海易路软件有限公司
申请日： 2021-10-11 - 公布日： 2021-11-30 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种分布式深度爬取方法，包括：确定待爬取目标网站；获取目标网站的检索条件和最大数据量；将预设个数的检索条件组合成目标检索条件；预设个数小于所有检索条件的个数；爬取出目标检索条件下的数据量；若数据量小于或等于最大数据量相比组合所有检索条件对网站爬取会获得大量无效的统一资源定位符，本申请通过结合预设个数的检索条件爬取出目标网站的数据量，预设个数小于所有检索条件的个数，大幅度提高爬取效率。爬取出的数据量小于或等于该网站的最大数据量时获得最终统一资源定位符，最终统一资源定位符都是有效的。本申请还公开一种分布式深度爬取装置及介质与方法对应，效果如上。
一种分布式深度方法装置介质

[发明专利]一种实现网络爬虫任务的方法-CN201210360608.6无效
发明人：金博 -专利权人：金博
申请日： 2012-09-25 - 公布日： 2013-03-27 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种实现网络爬虫任务的方法，1.初始给所述客户端待爬网页的链接地址；2.客户端将待爬网页的链接地址封装成任务请求发送到服务器；3.服务器向待爬取页面发送HTTP请求，并把请求到的多信息返回客户端；4.客户端接收信息，并对信息进行处理：5.重复上述过程，依次完成待爬列表中的网页爬取。本发明为爬取不同的网站内容提供了一个通用的网络爬虫框架，通过使用本方法可以快速完成编写用于爬取某个特定网站的爬虫。这种方法极大降低了开发人员的开发难度，缩短了开发周期。由于这种方法是建立在分布式网络爬虫框架的基础之上，因此爬取网站的速度也可以得到保证。本发明方法可用于医疗信息系统。
一种实现网络爬虫任务方法

[发明专利]一种基于多策略融合的微博数据获取方法-CN201910175559.0有效
发明人：王文贤;陈兴蜀;王海舟;严丹;王培名;唐瑞 -专利权人：四川大学
申请日： 2019-03-08 - 公布日： 2019-12-31 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种基于多策略融合的微博数据获取方法，首先模拟登录，获取登录成功的Cookie；将获取的Cookie保存到Cookie队列中，获取初始任务；然后使用多账号负载均衡策略爬取用户关注列表、用户资料；提取用户ID，生成关注关系和用户信息待爬取队列，再爬取用户关注列表、用户资料，同时生成用户微博待爬取队列；构造访客Cookie，使用IP代理池加速爬取微博内容，将信息存入数据库中；提取微博ID，生成评论信息待爬取队列；爬取微博评论信息，将信息存入数据库中。
微博队列信息存入数据库策略融合评论信息数据获取用户关注用户资料负载均衡策略网络舆情分析采集自适应算法登录成功基础数据加速数据网络环境用户信息账号安全代理IP 访客可用并发登录平衡

[发明专利]一种用于电子商务平台的数据采集系统-CN201710079119.6在审
发明人：刘鑫 -专利权人：玖壹富瑞（北京）科技有限公司
申请日： 2017-02-14 - 公布日： 2017-07-25 - 主分类号： G06Q30/06 文献下载
摘要：本发明提供一种用于电子商务平台的数据采集系统，包括爬取模块、入库模块、定时任务模块和数据下载模块，所述爬取模块根据定时任务模块定义的时间定时爬取网站数据，并将爬取数据传输到入库模块，所述入库模块向数据库存入爬取数据
一种用于电子商务平台数据采集系统

[发明专利]页面数据爬取方法、装置、设备和计算机可读存储介质-CN202110496931.5在审
发明人：侯淑慧;马维士;李岩 -专利权人：北京华云安信息技术有限公司
申请日： 2021-05-07 - 公布日： 2021-07-06 - 主分类号： G06F16/951 文献下载
摘要：本公开的实施例提供了页面数据爬取方法、装置、设备和计算机可读存储介质。所述方法包括：向待请求的目标页面中添加动态注入代码；在接收到针对所述目标页面的页面访问请求时，根据所述动态注入代码确定所述目标页面中的动态页面元素；爬取所述动态页面元素的页面数据。以此方式，可以在不需要用户手动点击该动态页面元素的基础上，即可自动确认页面中的所有动态元素，进而实现该动态页面元素对应的页面信息的自动爬取，从而确保页面内容全面获取，也优化了爬取速度和爬取性能。
页面数据方法装置设备计算机可读存储介质

[发明专利]一种在电子地图中爬取地标信息的系统和方法-CN201710109082.7有效
发明人：罗剑明 -专利权人：广州视源电子科技股份有限公司;广州视睿电子科技有限公司
申请日： 2017-02-27 - 公布日： 2020-07-24 - 主分类号： G06F16/29 文献下载
摘要：一种在电子地图中爬取地标信息的系统，包括调度器、地图信息获取管理器、地图信息解析器和结果处理器，用于对指定地图坐标范围内的多个地图坐标区域进行地标信息爬取，查找符合用户设置的地标命名规则关键词的地标信息本发明还提供根据所述系统爬取地标信息的方法。本发明提出的技术方案能够爬取电子地图上较新的所匹配的不同类型的地标数据，并且通过获取的地标信息数据量调整坐标移动步长，模拟人工缩放操作，能够提高电子地图数据的爬取效率。
一种电子地图中爬取地标信息系统方法

[发明专利]网页数据爬取的方法和装置-CN201711053152.8有效
发明人：曹志明 -专利权人：北京国双科技有限公司
申请日： 2017-10-31 - 公布日： 2021-06-22 - 主分类号： G06F16/953 文献下载
摘要：本发明公开了一种网页数据爬取的方法和装置。其中，该方法包括：解析接收到的网页数据爬取请求，得到请求资源类型；判断请求资源类型是否与预设缓存的请求资源类型相同；在判断结果不同的情况下，将网页数据爬取请求发送至远程网站；在判断结果相同的情况下，判断预存数据中是否存在与网页数据爬取请求对应的数据本发明解决了由于相关技术中网页爬虫爬取网页的数据请求量高，导致的网络资源消耗高的技术问题。
网页数据方法装置

[发明专利]OTA网站的数据爬取方法及系统-CN201510507081.9有效
发明人：牟杰 -专利权人：携程计算机技术（上海）有限公司
申请日： 2015-08-18 - 公布日： 2019-05-17 - 主分类号： G06F16/954 文献下载
摘要：本发明公开了一种OTA网站的数据爬取方法及系统。该数据爬取方法包括以下步骤：生成地区列表爬虫任务，包含对应于酒店搜索主页面的一初始爬取URL；执行地区列表爬虫任务以采集并保存地区数据，并生成酒店列表爬虫任务；执行酒店列表爬虫任务以采集并保存酒店数据，本发明的OTA网站的数据爬取方法及系统，能够针对OTA网站的数据爬取有效提高数据采集的效率、完整性以及准确性，并降低资源开销。
爬虫网站采集保存地区数据价格数据数据采集资源开销搜索

[发明专利]用于网络爬虫的数据存储方法及装置-CN201510729369.0有效
发明人：杨杰 -专利权人：北京国双科技有限公司
申请日： 2015-10-30 - 公布日： 2020-07-03 - 主分类号： G06F3/06 文献下载
摘要：其中，该方法包括：将爬虫的爬取结果的文件大小与预先设置的阈值进行比较；当爬取结果的文件大小大于或等于阈值时，将爬取结果存储至第一存储位置；生成与爬取结果对应的唯一标识信息，其中，唯一标识信息用于对存储于第一存储位置的爬取结果进行唯一索引
用于网络爬虫数据存储方法装置