“爬取贴文”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果920854个，建议您升级VIP下载更多相关专利

[发明专利]一种用于爬取页面的方法和设备-CN201310078316.8在审
发明人：王江;刘浩 -专利权人：北京百度网讯科技有限公司
申请日： 2013-03-12 - 公布日： 2013-07-31 - 主分类号： G06F17/30 文献下载
摘要：本发明的目的是提供一种用于爬取页面的方法与设备。其中，爬取设备根据已爬取页面，获取对应候选爬取页面的候选页面标识信息；根据所述候选爬取页面与所述已爬取页面的关联性信息，将所述候选页面标识信息添加至对应的待爬页面集合，其中，所述待爬页面集合包括一个或多个待爬取页面的页面标识信息；根据所述待爬页面集合，确定待爬取页面的目标爬取标识信息；爬取所述目标爬取标识信息所对应的目标页面。与现有技术相比，本发明通过根据所述关联性信息，有效的控制了爬取的调度行为，以实现爬取调度的可配置性，使得爬取能够目的性的扩散，控制爬虫在网页间移动的方向和速度，提高了垂直爬虫的爬取效率，保证了爬取数据的完整性
一种用于页面方法设备

[发明专利]数据爬取应用的创建方法、装置、存储介质及设备-CN201911168511.3在审
发明人：何熠皓 -专利权人：北京国双科技有限公司
申请日： 2019-11-25 - 公布日： 2021-05-25 - 主分类号： G06F16/951 文献下载
摘要：本公开涉及一种数据爬取应用的创建方法、装置、存储介质及设备。所述方法包括：定义用于输入所述数据爬取单元的请求参数，所述请求参数中至少包括：待爬取网址；基于所述请求参数中的待爬取网址，执行模拟数据爬取，获得响应数据；根据所述响应数据，确定输出数据；将所述数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口根据所述请求参数定义，所述数据爬取应用的输出接口根据所述输出数据定义。由此，通过抽象封装方法生成能够进行数据爬取的数据爬取单元，并基于数据爬取单元生成数据爬取应用，供用户直接使用以实现数据爬取功能，无需重复编写代码，提升数据爬取的效率，可用性强。
数据应用创建方法装置存储介质设备

[发明专利]一种应用爬取方法及系统-CN201710120705.0在审
发明人：雷建朝 -专利权人：上海斐讯数据通信技术有限公司
申请日： 2017-03-02 - 公布日： 2017-06-23 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及数据信息检索技术领域，具体为一种应用爬取方法及系统。一种应用爬取方法，包括以下步骤，1)获取应用的包名；2)将所述应用的包名通过布隆过滤器处理生成一爬取数组；3)对所述应用进行爬取并保存所述爬取数组。在对所述应用进行爬取之前，还包括利用所述爬取数组与已存储在应用爬取系统中的爬取数组做比较，判断所述应用是否已爬取；若所述应用未爬取，对所述应用进行爬取，并将所述爬取数组存储在所述应用爬取系统中。本发明通过布隆过滤器对应用进行过滤以保证在重复量不高的情况下爬取一个全量的应用，并通过白名单相似度进行对比，降低了应用爬取的错误率。
一种应用方法系统

[发明专利]一种信息爬取系统-CN201910510474.3有效
发明人：胡崇海;熊友根;王洪涛 -专利权人：海通证券股份有限公司
申请日： 2019-06-13 - 公布日： 2021-07-27 - 主分类号： G06F16/951 文献下载
摘要：一种信息爬取系统，所述信息爬取系统包括：多个智能爬取节点，所述智能爬取节点部署在多个拨号虚拟专用服务器上，基于信息爬取时间与信息爬取状态，动态切换所述拨号虚拟专用服务器的IP地址；资源调度系统，所述资源调度系统基于调度算法将待爬取链接分配给所述智能爬取节点以使其执行爬取操作，并从各个智能爬取节点接收爬取结果。通过本发明提供的技术方案，可以建立稳定的爬虫系统，有效应对反爬策略，实现数据的持续获取。
一种信息系统

[发明专利]一种网页爬虫方法、装置以及电子设备-CN201810082418.X在审
发明人：张星 -专利权人：湖北省楚天云有限公司
申请日： 2018-01-29 - 公布日： 2018-08-17 - 主分类号： G06F17/30 文献下载
摘要：本说明书实施例公开了一种网页爬虫方法、装置以及电子设备，所述方法包括：确定待爬取主题，获得对应的主题向量表示；基于从未爬取列表中确定的未爬取URL，获取对应页面的内容向量表示；根据所述内容向量表示与所述主题向量表示的相关度同时设置未爬取URL列表和已爬取URL列表，并将完成爬取的URL存储到已爬取URL列表中，放置对URL的重复爬取，可以有效提高爬取的效率；进一步地，为了提高爬取的准确率，对待爬取URL对应的网页内容与待爬取主题的相关度进行计算，对相关度比较高的URL进行爬取，并将爬取过的URL存储到已爬取URL列表中；基于上述方案，能够实现准确、高效的网页爬虫。
网页爬虫相关度电子设备内容向量主题向量网页内容准确率重复

[发明专利]一种页面爬取规则的配置方法及装置-CN201710884074.X有效
发明人：满悦 -专利权人：北京国双科技有限公司
申请日： 2017-09-26 - 公布日： 2021-10-15 - 主分类号： G06F16/953 文献下载
摘要：本发明公开了一种页面爬取规则的配置方法及装置，涉及计算机技术领域，主要目的在于能够自动生成页面爬取规则，并提高爬取规则的生成速度，本发明的主要技术方案为：从需要配置爬取规则的页面中选取待爬取页面元素；根据所述待爬取页面元素对应的属性信息，生成页面元素的路径信息；通过设置与所述待爬取页面元素相匹配的正则表达式模板，生成与所述待爬取页面元素的内容相匹配的正则表达式；根据所述待爬取页面元素在待爬取页面中的显示规则以及所述待爬取页面元素在待爬取页面中的位置信息配置所述待爬取页面的页面爬取规则本发明主要用于页面爬取规则的配置。
一种页面规则配置方法装置

[发明专利]网页数据爬取方法、装置、网页数据爬取平台及存储介质-CN201710744090.9有效
发明人：艾明 -专利权人：深圳壹账通智能科技有限公司
申请日： 2017-08-25 - 公布日： 2020-05-01 - 主分类号： G06F16/955 文献下载
摘要：本发明涉及一种网页数据爬取方法。该方法包括获取待爬取网页的网页地址，根据所述待爬取网页的网页地址，获取所述待爬取网页的对应的有效登录数据；根据有效登录数据，从网络地址库中随机选取可用的网络地址；经验证成功后登录所述待爬取网页，并根据与所述待爬取网页相对应的渲染方式渲染所述待爬取网页；爬取已渲染完成的所述待爬取网页获取待爬取网页数据。本发明的网页数据爬取方法、装置、网页数据爬取平台季存储介质，每次登录时都可以随机选取可用的网络地址，从而防止多个账户通过同一个服务器进行登录时，会触发待爬取网页的风控机制，导致服务器被列入黑名单，保证成功登录待爬取网页，进而成功爬取待爬取网页数据，提高可用性。
网页数据方法装置平台存储介质

[发明专利]一种终止爬虫工具爬取的方法及装置-CN201811145418.6有效
发明人：张鑫 -专利权人：北京国双科技有限公司
申请日： 2018-09-29 - 公布日： 2023-09-05 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开了一种终止爬虫工具爬取的方法及装置，以解决在爬虫工具根据不同的爬取任务进行爬取时，爬虫工具爬取的数据不准确的问题。该方法包括：获得爬虫工具的爬取结果；判断所述爬取结果是否满足终止条件，所述终止条件能够根据爬取需求进行配置；若所述爬取结果满足所述终止条件，则控制所述爬虫工具结束爬取。
一种终止爬虫工具方法装置

[发明专利]分布式爬取内容的方法、装置及存储介质-CN202010019149.X有效
发明人：黄勇;周彦辉 -专利权人：北京小米松果电子有限公司
申请日： 2020-01-08 - 公布日： 2023-10-13 - 主分类号： G06F16/951 文献下载
摘要：本公开是关于一种分布式爬取内容方法、分布式爬取内容装置及存储介质。分布式爬取内容方法包括：检测针对爬虫页面的输入信息，输入信息包括待爬取内容标识；响应于检测到输入信息，爬取待爬取内容标识对应的爬取内容信息；在爬虫页面显示爬取内容信息。通过本公开，可以简单、易操作地爬取互联网公开数据。
分布式内容方法装置存储介质

[发明专利]一种基于情感分类的股票指数预测方法及系统-CN201610554536.7在审
发明人：熊得意;董理;王中卿 -专利权人：苏州大学
申请日： 2016-07-14 - 公布日： 2016-12-14 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于情感分类的股票指数预测方法及系统，包括：爬取与候选词语对应的原始数据，并对原始数据进行清洗生成博文数据；将博文数据进行分析处理，生成词语信息；根据情感词典识别博文数据中的情感词，生成情感词信息；确定博文数据的情感分类信息；利用支持向量回归SVR技术及词语信息、情感词信息、情感分类信息和股票技术指标，构建预测模型，并生成股票指数预测结果；可见，通过技术指标描述股票市场的基本状态，用情感分类信息来提高预测准确度
一种基于情感分类股票指数预测方法系统

[发明专利]一种跟踪爬取过程的方法及装置-CN201710719691.4有效
发明人：邢琰 -专利权人：北京国双科技有限公司
申请日： 2017-08-21 - 公布日： 2021-10-08 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种跟踪爬取过程的方法，包括：将发送给爬虫模块的，需要爬取的网站的网站地址，存储到爬取网站列表中；轮询所述爬取网站列表中的网站地址，每轮询到一个网站地址时，分别执行以下操作：根据轮询到的网站地址，从所述爬取网站列表中，查询得到爬取所述轮询到的网站地址的爬取任务ID；根据所述爬取任务ID，从数据库中查询得到对应所述爬取任务ID的错误信息；其中，所述数据库为存储所述爬虫模块的爬取结果以及爬取过程中的错误信息的数据库采用该方法能够实现自动化的跟踪爬取过程，查询爬取过程中的错误信息。
一种跟踪过程方法装置

[发明专利]一种数据爬取的方法、装置、电子设备及存储介质-CN201910944677.3在审
发明人：武玉博 -专利权人：北京国双科技有限公司
申请日： 2019-09-30 - 公布日： 2021-03-30 - 主分类号： G06F16/951 文献下载
摘要：本申请涉及一种数据爬取的方法、装置、电子设备及存储介质，该方法包括：获取待爬取网页的信息，其中，所述待爬取网页的信息包括统一资源定位符URL；将所述URL转换至目标网页的目标URL，其中，所述待爬取网页和所述目标网页对应于相同的目标资源，所述目标网页对应的第一爬取难度等级低于所述待爬取网页对应的第二爬取难度等级；根据所述目标网页的目标URL，对所述目标网页中的数据进行爬取。本申请通过URL转换的方式，将待爬取网页的URL切换至爬取难度等级较低的目标网页的目标URL，根据目标URL对目标网页中的数据进行爬取，可以大大降低数据爬取难度，减少爬取资源的消耗，降低成本，以及提高数据的爬取效率
一种数据方法装置电子设备存储介质

[发明专利]一种网页数据的自动爬取方法和装置、计算机设备和介质-CN202211668127.1在审
发明人：谯海 -专利权人：京东方科技集团股份有限公司;重庆京东方智慧科技有限公司
申请日： 2022-12-23 - 公布日： 2023-04-04 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网页数据的自动爬取方法和装置、计算机设备和介质，其中一实施例的自动爬取方法包括：响应于用户的第一操作启动自动爬取应用软件，所述自动爬取应用软件为基于跨平台桌面应用程序开发框架生成的；响应于用户的第二操作在目标网页进行爬取规则录制并生成数据爬取模板；响应于用户的第三操作运行所述数据爬取模板以自动爬取待爬取数据的网页。本发明提供的实施例基于自动爬取应用软件提供可视化的爬取规则录制，并获取数据爬取模板以便于对网页进行自动爬取，从而灵活简便地实现自动化爬取；特别的，使用跨平台桌面应用程序开发框架生成的自动爬取应用软件能够支持多系统
一种网页数据自动方法装置计算机设备介质

[发明专利]网页爬取的配置方法、应用服务器及计算机可读存储介质-CN201810119441.1在审
发明人：蔡俊 -专利权人：平安科技（深圳）有限公司
申请日： 2018-02-06 - 公布日： 2018-09-04 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种网页爬取的配置方法，所述方法包括：接收用户输入的爬取网址；设置爬取信息类型；设置爬取任务处理节点；从所述爬取网址的网页上的链接转入所述爬取任务处理节点；在所述爬取任务处理节点上依据所述爬取信息类型爬取相应信息本发明提供的网页爬取的配置方法、应用服务器及计算机可读存储介质，可以灵活的对爬取深度进行控制，同时还可以在网页爬取的过程中，就能实现数据的归类整理，提高了整个数据爬取及使用的效能。
网页计算机可读存储介质应用服务器任务处理信息类型网址配置接收用户灵活的归类链接转入

[发明专利]网页爬取方法和装置-CN201710117896.5在审
发明人：单长美;李玲 -专利权人：中兴通讯股份有限公司
申请日： 2017-03-01 - 公布日： 2018-09-14 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种网页爬取方法和装置，所述方法包括以下步骤：配置爬取任务和爬取策略；所述爬取任务包括目标网站，所述爬取策略包括URL限制策略；根据所述目标网站生成爬取列表；依次爬取所述爬取列表中目标网站的网页，获取所述网页中的网站链接；根据所述URL限制策略过滤所述网站链接，以滤除所述网站链接中的无效链接，并将过滤后剩余的网站链接作为目标网站的链接加入所述爬取列表中以供后续爬取。从而，通过对爬取到的外链进行控制，有效过滤了无关网站，减少了网站爬取数据，更大程度上定位到有用信息的爬取，既提高了爬取效率，减少了无用的杂质数据，进而降低了对存储空间的要求，又大大减少了对带宽的占用。
目标网站网站链接网页方法和装置链接网站过滤策略过滤存储空间杂质数据滤除外链带宽占用配置