“爬取贴文”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果920854个，建议您升级VIP下载更多相关专利

[发明专利]一种Ajax动态加载网页数据爬取方法与系统-CN202211406548.7在审
发明人：王红霞;杜婷;王钊;王海洲 -专利权人：包钢集团矿山研究院（有限责任公司）;内蒙古博研智成金属矿产资源综合利用工程研究有限公司
申请日： 2022-11-10 - 公布日： 2023-01-06 - 主分类号： G06F16/955 文献下载
摘要：本发明提供了一种Ajax动态加载网页数据爬取方法与系统，其中，该方法包括：获取目标网页的URL地址与预设关键词；根据目标网页的URL地址与爬取内容得到目标网页的待爬取URL地址；利用待爬取URL地址对目标网页进行爬取得到网页内容本发明通过根据目标网页的URL地址与爬取内容可以得到目标网页的真实URL地址，基于此地址对目标网页进行爬取可以大大提升爬取效果。
一种 ajax 动态加载网页数据方法系统

[发明专利]基于HBase和MapReduce的分布式数据爬取方法-CN202211508097.8在审
发明人：刘雅璇 -专利权人：天翼云科技有限公司
申请日： 2022-11-28 - 公布日： 2023-03-07 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及计算机应用技术领域，具体公开了基于HBase和MapReduce的分布式数据爬取方法，所述方法包括：S100在HBase中创建一个表，该表包含三个列族，分别用于保存爬取目标url、爬取与解析的标志和从爬取目标url爬取的内容源码；S200收集爬取目标网站中模块首页出度较大的url作为种子url，作为新行插入步骤S100所述表中；本发明一种基于HBase和MapReduce的分布式数据爬取方法利用MapReduce组件从网络上分布式爬取数据，将爬取到的数据存储在HBase数据库中，可缩小获取非结构化数据的时间成本，提高存储爬取数据的可靠性。
基于 hbase mapreduce 分布式数据方法

[发明专利]动态图表类页面数据爬取方法、装置、终端及存储介质-CN201810349975.3有效
发明人：阮晓雯;徐亮;肖京 -专利权人：平安科技（深圳）有限公司
申请日： 2018-04-18 - 公布日： 2022-12-02 - 主分类号： G06F16/951 文献下载
摘要：一种动态图表类页面数据爬取方法，包括：采用自动化测试工具启动浏览器，输入待爬取数据的网站的链接；从待爬取数据的网站中爬取与用户输入的爬取关键词相关的页面信息；对爬取到的页面进行渲染并解析；通过自动化测试工具对解析后的页面进行截图得到截图图片并保存截图图片；根据预先训练的图片识别模型对截图图片进行识别，得到截图图片中的内容；判断待爬取数据的网站及对应爬取关键词的页面是否已遍历完；当确定都已被遍历过，则结束流程；否则，继续执行上述过程。本发明还提供一种动态图表类页面数据爬取装置、终端及存储介质。本发明能够自动爬取动态加载的图表类数据且能识别出图片中的内容。
动态图表页面数据方法装置终端存储介质

[发明专利]一种基于多线程的网页爬取方法、装置、存储介质及设备-CN202010214296.2有效
发明人：王家祥;蓝菊芳;吴桐 -专利权人：南阳柯丽尔科技有限公司
申请日： 2020-03-24 - 公布日： 2023-05-05 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例公开了一种基于多线程的网页爬取方法、装置、存储介质及设备。所述方法包括：从关键词字典中获取多个待爬取关键词；根据待爬取关键词确定与待爬取关键词对应的链接地址；将与待爬取关键词对应的链接地址添加到队列中；然后采用多线程爬虫方式通过多线程爬虫的各线程爬虫从队列中获取与待爬取关键词对应的链接地址作为待爬取链接地址，根据待爬取链接地址，通过各线程爬虫进行网页爬取及内容解析后得到与待爬取链接地址对应的有效信息，根据与待爬取链接地址对应的有效信息更新关键词字典的有效信息。
一种基于多线程网页方法装置存储介质设备

[发明专利]处理爬取网页的方法和装置-CN201611089740.2有效
发明人：赵一飞 -专利权人：北京国双科技有限公司
申请日： 2016-11-30 - 公布日： 2021-02-26 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种处理爬取网页的方法和装置。其中，该方法包括：确定是否存在待验证的网页的标识信息；根据待验证的网页的标识信息爬取得到网页页面之后，校验爬取得到的网页页面；在爬取得到的网页页面校验通过的情况下，确定待验证的网页爬取成功；将爬取成功的待验证的网页的标识信息保存至过滤器服务本发明解决了现有技术中在防止爬虫系统重复爬取网页时，爬取内容校验不通过但网页无法被再次爬取的技术问题。
处理网页方法装置

[发明专利]一种数据爬取频率的调整方法及装置、存储介质和处理器-CN201811290140.1有效
发明人：陈发发 -专利权人：北京国双科技有限公司
申请日： 2018-10-31 - 公布日： 2023-04-07 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种数据爬取频率的调整方法及装置、存储介质和处理器。该方法包括：通过爬虫平台对多个信源以第一爬取频率进行数据爬取；对每个信源根据爬取到的数据量进行排序；基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率，解决了相关技术中因为爬虫平台的数据爬取频率固定
一种数据频率调整方法装置存储介质处理器

[发明专利]网页内容爬取的方法和装置-CN201610350395.7有效
发明人：孔祥旭;张泽斌;周勇 -专利权人：考拉征信服务有限公司
申请日： 2016-05-24 - 公布日： 2017-09-05 - 主分类号： G06F17/30 文献下载
摘要：本公开提供一种网页内容爬取的方法和装置，包括调度爬取任务；当查询到所述爬取任务有代理设置时，获取代理IP队列；进行资源管理处理；由数据抓取引擎采用多线程并行处理的方式进行数据抓取；各个线程对各自所抓取的数据交由解析引擎进行数据解析本公开所述解决了一般网页和需要登录的网站的各个功能的爬取工作，爬取的任务由爬取组件完成，且实现了快速准确，同时还能够分析出目标网站的层级关系，形成清晰的爬取目标结构图，为爬取的数据建立起清晰的关系，通过反监控管理实现了反爬技术
网页内容方法装置

[发明专利]获取代理服务器地址的方法和装置-CN201510609711.3在审
发明人：兰光明 -专利权人：北京国双科技有限公司
申请日： 2015-09-22 - 公布日： 2017-03-29 - 主分类号： G06F17/30 文献下载
摘要：其中，该方法包括收集代理服务器地址，得到代理服务器地址集；分别利用代理服务器地址集中每一个代理服务器地址分多次来爬取网页数据，记录爬取结果；分别统计每一个代理服务器地址的爬取结果中成功爬取数据的次数，根据成功爬取数据的次数计算每一个代理服务器地址的爬取网页数据的成功率；依据爬取网页数据的成功率从代理服务器地址集中选择用于爬取网页数据的代理服务器地址。本申请解决了由于使用质量差的代理服务器地址造成数据爬取效率低的技术问题。
获取代理服务器地址方法装置

[发明专利]一种数据爬取的方法、装置、电子设备以及存储介质-CN202211079088.1在审
发明人：周娟 -专利权人：中国电信股份有限公司
申请日： 2022-09-05 - 公布日： 2022-12-16 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例提供了一种数据爬取的方法、装置、电子设备以及存储介质，所述方法包括：配置用于爬取数据的多个账号，并针对每个账号配置多个任务进程信息；针对每个任务进程信息配置一个或多个第一标签信息，并按照所述一个或多个第一标签信息在预设数据库中进行数据爬取，得到初始爬取数据；确定用于对所述初始爬取数据进行数据过滤处理的第二标签数据，并按照所述第二标签数据对所述初始爬取数据进行过滤，得到第一爬取数据；针对所述第一爬取数据进行去重处理，得到目标爬取数据。
一种数据方法装置电子设备以及存储介质

[发明专利]网站资源的爬取方法、装置、系统和计算机设备-CN201910578458.8有效
发明人：孙加亮 -专利权人：北京金山安全软件有限公司
申请日： 2019-06-28 - 公布日： 2021-08-24 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网站资源的爬取方法、装置、系统、计算机设备和存储介质。其中该方法包括：确定用户设计的流程图；其中，流程图中包括多个节点和节点间的连接关系，每个节点对应一个控件；基于流程图中的节点所对应的控件，生成针对目标网站的爬取配置规则；将爬取配置规则发送给服务端，其中，爬取配置规则用于指示服务端向目标网站发送网络请求，并对目标网站返回的网站内容进行数据爬取；接收服务端返回的爬取结果信息并进行展示。该方法由服务端对该爬取配置规则进行解析，并发起网络请求，能够有效的避免IP被封，并将爬取结果信息进行展示，可以方便用户预览爬取结果，提升用户体验。
网站资源方法装置系统计算机设备

[发明专利]页面爬取方法、装置、介质及电子设备-CN202210082792.6在审
发明人：郭红山 -专利权人：深圳壹账通智能科技有限公司
申请日： 2022-01-24 - 公布日： 2022-04-29 - 主分类号： G06F16/951 文献下载
摘要：本公开涉及人工智能和爬虫领域，揭示了一种页面爬取方法、装置、介质及电子设备。该方法包括：进行初始化操作，得到当前深度优先遍历次数和当前广度优先遍历次数；迭代执行爬取步骤和次数更新步骤，对多个页面中的资源进行爬取；爬取步骤包括：从起始网站开始，按照当前深度优先遍历次数从深度方向爬取起始网站在链接路径上的多层级网站的页面，并在每次爬取属于其中一层级的目标网站的页面时，按照当前广度优先遍历次数分别爬取链接了目标网站的页面所链接的同一层级的多个网站的页面；次数更新步骤包括：根据最近一次爬取步骤中爬取到的页面中的资源，调整当前深度优先遍历次数和当前广度优先遍历次数此方法能够高效准确地爬取所需信息。
页面方法装置介质电子设备

[发明专利]网页信息爬取方法、装置、系统以及电子设备-CN201811020782.X在审
发明人：庞英浩 -专利权人：菜鸟智能物流控股有限公司
申请日： 2018-09-03 - 公布日： 2020-03-10 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例提供一种网页信息爬取方法、装置、系统以及电子设备，其中，方法包括：将无头浏览器打包至容器中，形成多个信息爬取容器；控制所述信息爬取容器中的无头浏览器执行网页信息爬取任务，以爬取网页信息。本发明实施例的方案，能够提高网页信息爬取的效率，同时该方案引入容器技术能够实现平台化、伸缩化的资源管理，提升资源的利用率。
网页信息方法装置系统以及电子设备

[发明专利]数据获取方法、装置、计算机设备以及存储介质-CN201910850324.7在审
发明人：张志强 -专利权人：北京国双科技有限公司
申请日： 2019-09-10 - 公布日： 2021-03-26 - 主分类号： G06F16/951 文献下载
摘要：本申请的数据获取方法通过各爬虫系统的爬取能力值选取合适的爬虫系统执行数据爬取任务，同时实时知悉爬虫系统对数据爬取任务的执行情况，当出现卡顿的情况时，在任务中途快速转发至另一爬虫系统，之后归集爬取获得的数据，完成数据爬取任务，有效确保了数据爬取任务的执行效率。
数据获取方法装置计算机设备以及存储介质

[发明专利]一种金融证券舆情信息爬取方法及装置-CN202011579762.3有效
发明人：陶飞飞;章猛;叶小舟;朱晓瑞;刘生伟;庄展鹏;顾将赢 -专利权人：河海大学
申请日： 2020-12-28 - 公布日： 2022-09-23 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种金融证券舆情信息爬取方法及装置，该爬取方法包括以下步骤：下载金融社交网站的页面数据，利用爬虫爬取页面中针对证券市场不同股票板块的权重股股票舆情；根据股票代码构造种子URL，将不同流通市值的股票对其所属板块影响不同这一特性与该只股票所对应的URL序列结合，得到面向金融证券的主题型结构化舆情信息，并提供一种爬取金融证券舆情信息的爬虫装置。本发明适用于金融证券领域的主题型舆情爬取任务，可以快速地从金融社交平台中抓取、采集多个与主题相关的页面。本发明的爬取方法在爬取时间和爬取准确率两个方面表现较为优秀，能更加有效地完成金融证券舆情信息爬取的任务，提高了爬取金融证券舆情信息的利用率。
一种金融证券舆情信息方法装置

[发明专利]一种基于页面元素选取的交互式网络爬虫创建方法及系统-CN201710862631.8在审
发明人：罗亮 -专利权人：湖北省楚天云有限公司
申请日： 2017-09-15 - 公布日： 2018-01-19 - 主分类号： G06F17/30 文献下载
摘要：并通过浏览器显示所述待访问页面，其中，所述通过浏览器显示的待访问页面中的页面元素设置有用于选取页面元素的事件处理响应函数；基于所述事件处理响应函数确定用户基于所述显示的待访问页面而选取的页面元素，并获取基于所述页面元素的爬取定位信息；将包含有爬取定位信息的待爬取记录添加在爬取任务集合中；根据所述爬取任务集合中的待爬取记录创建网络爬虫实例；其中，所述网络爬虫实例用于爬取所述爬取定位信息对应的网络数据。
一种基于页面元素选取交互式网络爬虫创建方法系统