“爬取器”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果9056705个，建议您升级VIP下载更多相关专利

[发明专利]一种基于多线程的网页爬取方法、装置、存储介质及设备-CN202010214296.2有效
发明人：王家祥;蓝菊芳;吴桐 -专利权人：南阳柯丽尔科技有限公司
申请日： 2020-03-24 - 公布日： 2023-05-05 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例公开了一种基于多线程的网页爬取方法、装置、存储介质及设备。所述方法包括：从关键词字典中获取多个待爬取关键词；根据待爬取关键词确定与待爬取关键词对应的链接地址；将与待爬取关键词对应的链接地址添加到队列中；然后采用多线程爬虫方式通过多线程爬虫的各线程爬虫从队列中获取与待爬取关键词对应的链接地址作为待爬取链接地址，根据待爬取链接地址，通过各线程爬虫进行网页爬取及内容解析后得到与待爬取链接地址对应的有效信息，根据与待爬取链接地址对应的有效信息更新关键词字典的有效信息。
一种基于多线程网页方法装置存储介质设备

[发明专利]一种网站相似度检测方法-CN201810705000.X有效
发明人：余明阳;查志勇;詹伟;向湘杰 -专利权人：国网湖北省电力有限公司信息通信公司
申请日： 2018-07-01 - 公布日： 2021-09-10 - 主分类号： G06F16/958 文献下载
摘要：本发明提供了一种网站相似度检测方法，通过服务器提取待检测网站中各个页面的文本信息，并将各个页面的文本信息整合为第一文本；所述服务器根据爬取任务配置文件开启网络URL信息爬取，获取各个网站所含文本信息，并将爬取的文本信息整合为第二文本；所述服务器计算第一文本与各个网站所对应的第二文本所含文本信息之间的相似度；若相似度超出预设阈值，则判定待检测网站与爬取到的文字信息相对应网站内容重复。本发明公开的网站相似度检测方法，在现有技术的基础上，增加了网站信息智能爬取和爬取信息的相似度匹配的步骤，提高了钓鱼网站的快速识别。
一种网站相似检测方法

[发明专利]代理服务器的处理方法、电子设备及存储介质-CN202010075541.6有效
发明人：王晓炜 -专利权人：咪咕文化科技有限公司;中国移动通信集团有限公司
申请日： 2020-01-22 - 公布日： 2022-11-08 - 主分类号： H04L67/56 文献下载
摘要：本发明实施例提供一种代理服务器的处理方法、电子设备及存储介质。方法包括：通过目标代理服务器进行数据爬取，并根据数据爬取的结果对所述目标代理服务器的权重进行更新；其中，所述目标代理服务器为IP池中权重大于第一预设权重的代理服务器。通过代理服务器的权重对代理服务器进行筛选，确定目标代理服务器进行数据爬取，并根据数据爬取的结果对目标代理服务器的权重进行更新，从而根据权重确定是否删除代理服务器，避免了有效代理服务器被误删除，使得IP池具有一批稳定有效的代理服务器
代理服务器处理方法电子设备存储介质

[发明专利]处理爬取网页的方法和装置-CN201611089740.2有效
发明人：赵一飞 -专利权人：北京国双科技有限公司
申请日： 2016-11-30 - 公布日： 2021-02-26 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种处理爬取网页的方法和装置。其中，该方法包括：确定是否存在待验证的网页的标识信息；根据待验证的网页的标识信息爬取得到网页页面之后，校验爬取得到的网页页面；在爬取得到的网页页面校验通过的情况下，确定待验证的网页爬取成功；将爬取成功的待验证的网页的标识信息保存至过滤器服务本发明解决了现有技术中在防止爬虫系统重复爬取网页时，爬取内容校验不通过但网页无法被再次爬取的技术问题。
处理网页方法装置

[发明专利]网页内容爬取的方法和装置-CN201610350395.7有效
发明人：孔祥旭;张泽斌;周勇 -专利权人：考拉征信服务有限公司
申请日： 2016-05-24 - 公布日： 2017-09-05 - 主分类号： G06F17/30 文献下载
摘要：本公开提供一种网页内容爬取的方法和装置，包括调度爬取任务；当查询到所述爬取任务有代理设置时，获取代理IP队列；进行资源管理处理；由数据抓取引擎采用多线程并行处理的方式进行数据抓取；各个线程对各自所抓取的数据交由解析引擎进行数据解析本公开所述解决了一般网页和需要登录的网站的各个功能的爬取工作，爬取的任务由爬取组件完成，且实现了快速准确，同时还能够分析出目标网站的层级关系，形成清晰的爬取目标结构图，为爬取的数据建立起清晰的关系，通过反监控管理实现了反爬技术
网页内容方法装置

[发明专利]一种基于图片验证码识别的网络爬虫方法-CN201711415807.1有效
发明人：闵信志;刘计争;高成俊 -专利权人：南京烽火星空通信发展有限公司
申请日： 2017-12-25 - 公布日： 2021-08-24 - 主分类号： G06F21/36 文献下载
摘要：本发明公开了一种基于图片验证码识别的网络爬虫方法，包括：爬虫程序的预处理和构建；计算机加载爬虫程序，使用浏览器访问网页；在网络请求超时、代理IP被限制访问、出现图片验证码时，由爬虫程序进行不同处理，在访问到爬虫需要爬取的网页时本发明可以在被爬取的网站使用图片验证码限制网络爬虫爬取网站内容时，通过人工识别图片验证码，使得爬虫可以继续爬取网页。
一种基于图片验证识别网络爬虫方法

[发明专利]一种数据爬取的方法、装置、电子设备以及存储介质-CN202211079088.1在审
发明人：周娟 -专利权人：中国电信股份有限公司
申请日： 2022-09-05 - 公布日： 2022-12-16 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例提供了一种数据爬取的方法、装置、电子设备以及存储介质，所述方法包括：配置用于爬取数据的多个账号，并针对每个账号配置多个任务进程信息；针对每个任务进程信息配置一个或多个第一标签信息，并按照所述一个或多个第一标签信息在预设数据库中进行数据爬取，得到初始爬取数据；确定用于对所述初始爬取数据进行数据过滤处理的第二标签数据，并按照所述第二标签数据对所述初始爬取数据进行过滤，得到第一爬取数据；针对所述第一爬取数据进行去重处理，得到目标爬取数据。
一种数据方法装置电子设备以及存储介质

[发明专利]网站资源的爬取方法、装置、系统和计算机设备-CN201910578458.8有效
发明人：孙加亮 -专利权人：北京金山安全软件有限公司
申请日： 2019-06-28 - 公布日： 2021-08-24 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网站资源的爬取方法、装置、系统、计算机设备和存储介质。其中该方法包括：确定用户设计的流程图；其中，流程图中包括多个节点和节点间的连接关系，每个节点对应一个控件；基于流程图中的节点所对应的控件，生成针对目标网站的爬取配置规则；将爬取配置规则发送给服务端，其中，爬取配置规则用于指示服务端向目标网站发送网络请求，并对目标网站返回的网站内容进行数据爬取；接收服务端返回的爬取结果信息并进行展示。该方法由服务端对该爬取配置规则进行解析，并发起网络请求，能够有效的避免IP被封，并将爬取结果信息进行展示，可以方便用户预览爬取结果，提升用户体验。
网站资源方法装置系统计算机设备

[发明专利]页面爬取方法、装置、介质及电子设备-CN202210082792.6在审
发明人：郭红山 -专利权人：深圳壹账通智能科技有限公司
申请日： 2022-01-24 - 公布日： 2022-04-29 - 主分类号： G06F16/951 文献下载
摘要：本公开涉及人工智能和爬虫领域，揭示了一种页面爬取方法、装置、介质及电子设备。该方法包括：进行初始化操作，得到当前深度优先遍历次数和当前广度优先遍历次数；迭代执行爬取步骤和次数更新步骤，对多个页面中的资源进行爬取；爬取步骤包括：从起始网站开始，按照当前深度优先遍历次数从深度方向爬取起始网站在链接路径上的多层级网站的页面，并在每次爬取属于其中一层级的目标网站的页面时，按照当前广度优先遍历次数分别爬取链接了目标网站的页面所链接的同一层级的多个网站的页面；次数更新步骤包括：根据最近一次爬取步骤中爬取到的页面中的资源，调整当前深度优先遍历次数和当前广度优先遍历次数此方法能够高效准确地爬取所需信息。
页面方法装置介质电子设备

[发明专利]数据获取方法、装置、计算机设备以及存储介质-CN201910850324.7在审
发明人：张志强 -专利权人：北京国双科技有限公司
申请日： 2019-09-10 - 公布日： 2021-03-26 - 主分类号： G06F16/951 文献下载
摘要：本申请的数据获取方法通过各爬虫系统的爬取能力值选取合适的爬虫系统执行数据爬取任务，同时实时知悉爬虫系统对数据爬取任务的执行情况，当出现卡顿的情况时，在任务中途快速转发至另一爬虫系统，之后归集爬取获得的数据，完成数据爬取任务，有效确保了数据爬取任务的执行效率。
数据获取方法装置计算机设备以及存储介质

[发明专利]一种金融证券舆情信息爬取方法及装置-CN202011579762.3有效
发明人：陶飞飞;章猛;叶小舟;朱晓瑞;刘生伟;庄展鹏;顾将赢 -专利权人：河海大学
申请日： 2020-12-28 - 公布日： 2022-09-23 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种金融证券舆情信息爬取方法及装置，该爬取方法包括以下步骤：下载金融社交网站的页面数据，利用爬虫爬取页面中针对证券市场不同股票板块的权重股股票舆情；根据股票代码构造种子URL，将不同流通市值的股票对其所属板块影响不同这一特性与该只股票所对应的URL序列结合，得到面向金融证券的主题型结构化舆情信息，并提供一种爬取金融证券舆情信息的爬虫装置。本发明适用于金融证券领域的主题型舆情爬取任务，可以快速地从金融社交平台中抓取、采集多个与主题相关的页面。本发明的爬取方法在爬取时间和爬取准确率两个方面表现较为优秀，能更加有效地完成金融证券舆情信息爬取的任务，提高了爬取金融证券舆情信息的利用率。
一种金融证券舆情信息方法装置

[发明专利]一种爬虫的爬取方法及装置-CN201710867749.X在审
发明人：满悦 -专利权人：北京国双科技有限公司
申请日： 2017-09-22 - 公布日： 2019-07-16 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种爬虫的爬取方法及装置，涉及计算机技术领域，主要目的在于使得爬虫能够爬取到页面中各种隐藏的超链接元素对应目标页面的URL链接，本发明的主要技术方案为：获取待爬取页面中的超链接元素；当预置网络监控器监控到所述超链接元素对应目标页面的跳转请求时，拦截所述跳转请求以及所述跳转请求所携带的数据；从拦截的跳转请求所携带的数据中爬取所述超链接元素对应目标页面的URL链接。本发明主要用于爬取页面中超链接对应目标页面的URL链接。
超链接目标页跳转爬虫页面拦截计算机技术领域网络监控器携带预置监控

[发明专利]一种多线程浏览器驱动爬虫方法、系统和可读存储介质-CN202310765246.7在审
发明人：吕振;陈增和;赖浩哲;林兴武 -专利权人：深圳市豪斯莱科技有限公司
申请日： 2023-06-27 - 公布日： 2023-07-28 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种多线程浏览器驱动爬虫方法、系统和可读存储介质，方法包括：获取爬虫任务；根据爬虫任务进行分析,通过子线程控制浏览器登录网站，并对网站数据进行爬取；在爬虫任务执行过程中，对爬虫任务状态进行监测，对已完成的爬虫任务进行标记，并结束相对应的子线程；当所有子线程全部结束后，通过主线程对爬取数据的完整性进行检测，对遗漏数据继续进行爬取，直至爬取数据完整，根据任务完成情况生成日志报告并推送至服务器。本发明通过启动多线程调度，分别驱动多个浏览器根据当前浏览器当前环境参数再进行模拟请求得到数据入库，解决需要浏览器界面扫码登录，参数复杂解密难以分析，单浏览器效率慢的问题。
一种多线程浏览器驱动爬虫方法系统可读存储介质

[发明专利]一种数据采集系统和数据采集方法-CN201710934808.0在审
发明人：邢文涛;刘瑞慧;于晓晨;王岗 -专利权人：山东浪潮云服务信息科技有限公司
申请日： 2017-10-10 - 公布日： 2017-12-22 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种数据采集系统和数据采集方法，该数据采集系统包括控制节点、存储节点和至少两个爬取节点；所述控制节点，用于根据获取到的至少一个主URL，确定至少两个待爬取URL，并将所述至少两个待爬取URL分发给所述至少两个爬取节点；每一个所述爬取节点，用于针对接收到的每一个所述待爬取URL，采集所述待爬取URL所对应网页上的数据，并从采集到的所述数据中获取目标数据发送给所述存储节点；所述存储节点，用于将各个所述爬取节点发送的所述目标数据存储到指定的存储空间
一种数据采集系统方法

[发明专利]基于静态网站的数据爬取及事件分析方法及系统-CN202110121681.7在审
发明人：蔡婷 -专利权人：平安普惠企业管理有限公司
申请日： 2021-01-28 - 公布日： 2021-05-18 - 主分类号： G06F16/951 文献下载
摘要：本申请提供了一种基于静态网站的数据爬取及事件分析方法及系统，设定爬取的静态网站的类型，并选定所述类型的静态网站；根据所述静态网站，通过静态网页爬虫技术，爬取静态数据；对爬取数据进行预处理，按照标签进行整理，得到爬取数据库；根据所述爬取数据库进行特定事件检测，并对事件进行追踪，形成事件集。本申请可基于静态网站自动分析页面，通过若干点击和少量的输入即可完成对一个网页的解析，生成爬虫规则，极大地提升了用户获取数据的效率，通过爬取数据处理，大大减少了爬取数据的庞杂性，使数据可用性以及调取性大大增加
基于静态网站数据事件分析方法系统

首页
«上一页
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
下一页»
尾页
共 100000 条