“聚焦爬虫”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果62837个，建议您升级VIP下载更多相关专利

[发明专利]一种爬虫自动化部署方法、系统、计算机设备、及介质-CN202210791022.9在审
发明人：李亚平;翟锦修;郑泽标 -专利权人：广州鑫景信息科技服务有限公司
申请日： 2022-07-05 - 公布日： 2022-11-04 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及一种爬虫自动化部署方法、系统、计算机设备、及介质，其技术方案要点是：所述方法包括：构建爬虫项目；将运行爬虫项目所需的第一文件清单和用于构建第一文件清单内的软件环境的代码文件存储在爬虫项目中；根据所述爬虫项目在对应的服务器上查询docker容器；判断对应的docker容器中是否缺少运行第一文件清单中的软件环境，若为是，则根据对应软件环境的代码文件执行对应的运行代码；根据所述爬虫项目在对应的服务器上部署爬虫程序；本申请具有能够自动部署运行爬虫程序的优点
一种爬虫自动化部署方法系统计算机设备介质

[发明专利]主题爬虫方法、装置、电子设备及计算机可读存储介质-CN202210160887.5在审
发明人：张新亮 -专利权人： TCL科技集团股份有限公司
申请日： 2022-02-22 - 公布日： 2023-09-01 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例提供了一种主题爬虫方法、装置、电子设备及计算机可读存储介质，该方法对待爬取链接队列中的待爬虫超链接进行结构解析，得到链接特征，基于链接特征与预设主题，预测待爬虫链接与预设主题之间的相关度，将相关度大于预设相关度阈值的待爬虫链接确定为目标超链接，实现了对主题爬虫，本申请通过对超链接进行结构分析，避免了对待爬虫超链接指向的页面信息内容进行分析，并且通过预测待爬虫链接与预设主题之间的相关度，实现了对超链接的主题的精准识别，大大提高了主题爬虫效率。
主题爬虫方法装置电子设备计算机可读存储介质

[发明专利]一种爬虫方法以及基于浏览器的嵌入式爬虫实现方法-CN201911312829.4有效
发明人：彭万宗 -专利权人：烽火通信科技股份有限公司
申请日： 2019-12-18 - 公布日： 2022-08-12 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种爬虫方法以及基于浏览器的嵌入式爬虫实现方法，将数据爬取过程划分为若干子进程，监控并统计处于不同子进程的爬虫元素的数量；所述子进程包括缓冲进程、工作进程和完成进程；根据预先配置的并行爬虫数量对处于所述工作进程中的爬虫元素的数量进行调节；本发明支持自主控制并行爬取数量，控制性能消耗，易用性好；嵌入式爬虫运行在爬取页面的作用域，爬虫可以利用浏览器的各种库，包括DOM操作等，实现了模拟用户浏览的爬虫，具有很强的隐蔽性。
一种爬虫方法以及基于浏览器嵌入式实现

[发明专利]爬虫模板变更的监测方法、系统、电子设备及存储介质-CN202011265722.1有效
发明人：王琛;李青龙 -专利权人：北京智慧星光信息技术有限公司
申请日： 2020-11-13 - 公布日： 2021-02-02 - 主分类号： G06F11/36 文献下载
摘要：本发明公开了一种爬虫模板变更的监测方法、系统、电子设备及存储介质，该方法包括：在爬虫脚本库中查找无数据的爬虫脚本；将查找到的所有无数据的爬虫脚本所对的配置id存储至无数据爬虫脚本数据库中；将无数据爬虫脚本数据库中的配置id加入检测队列进行无数据检测；根据配置id得到配置id所对应的爬虫脚本的代码信息；根据代码信息得到爬虫脚本中的URL集合，遍历下载URL集合中的每一个URL，得到每一个URL下载结果值；根据URL下载结果值是否为空、URL请求响应状态码是否等于第一预设状态码、URL详情链接数量是否大于零、位于三层模板中的回调函数的回调返回值是否有值，确定爬虫模板是否变更。上述方法通过监测多个返回值实现了自动爬虫模板变更监测。
爬虫模板变更监测方法系统电子设备存储介质

[发明专利]分布式网络爬虫任务调度的方法及系统-CN201310504193.X无效
发明人：何学敏 -专利权人：深圳市同洲电子股份有限公司
申请日： 2013-10-24 - 公布日： 2014-01-15 - 主分类号： G06F17/30 文献下载
摘要：本发明互联网搜索引擎技术领域，提供了一种分布式网络爬虫任务调度的方法及其系统，其中，方法包括：对分布式网络爬虫集群进行配置；第一爬虫分析第一层链接对应的网页，提取网页中存在的第二层链接；根据Hash一致性算法分配与第二层链接对应的爬取任务；如果第二层链接是分配给第一爬虫之外的爬虫，则将第二层链接对应的爬取任务记录到相应序号的爬虫对应的爬取任务文件中；每隔预定的时间间隔将爬取任务文件打包上传到共享目录中；每个爬虫定时到共享目录中提取并执行对应的爬取任务本发明提供的分布式网络爬虫任务调度的方法及其系统，通过共享任务目录来实现分布式爬虫任务的协同任务调度，能把任务均匀分布到各个爬虫。
分布式网络爬虫任务调度方法系统

[发明专利]一种网络爬虫任务调度方法及装置-CN201711088266.6在审
发明人：陈开冉;邓楚健 -专利权人：广州探迹科技有限公司
申请日： 2017-11-07 - 公布日： 2018-02-16 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种网络爬虫任务调度方法及装置，涉及软件工程领域，用以解决现有的爬虫任务调度存在需要频繁读写数据库，数据库容易堵塞，造成工作效率低的问题。该方法包括第一调度器收到第一爬虫任务，根据第一爬虫任务的状态确定第一爬虫任务的类型；当确认为延时处理时，确定与延时处理对应的执行时间并将第一爬虫任务存储在缓存数据库；第二调度器在更新周期遍历缓存数据库，确定到达执行时间时，将与执行时间对应的第一爬虫任务发送至内存优先级队列内；第三调度器采用时间片轮转算法从内存优先级队列内的依此获取爬虫任务，直至第一爬虫任务被从内存优先级队列内取出。
一种网络爬虫任务调度方法装置

[发明专利]分布式爬虫任务调度方法、装置、设备及计算机可读介质-CN202010930417.3在审
发明人：王俊杰;刘远;高雅 -专利权人：北京明略软件系统有限公司
申请日： 2020-09-07 - 公布日： 2020-12-18 - 主分类号： G06F16/951 文献下载
摘要：本申请涉及一种分布式爬虫任务调度方法、装置、设备及计算机可读介质。该方法包括：获取待爬取网站的目标网络地址，待爬取网站为目标爬取任务中对应的数据爬取网站，目标网络地址用于表示待爬取网站的互联网协议地址；提取与目标网络地址的网络时延在阈值范围内的第一爬虫节点，网络时延用于表示爬虫节点与待爬取网站的网络距离，爬虫节点为分布式爬虫节点；将第一爬虫节点作为执行目标爬取任务的目标节点。本申请可以充分利用分布式爬虫系统爬取不同任务效率不同的特点，将爬取任务调度到最优爬虫节点上，实现高效率的内容爬取，以提高分布式爬虫系统的响应速度，同时保证一定程度的负载均衡。
分布式爬虫任务调度方法装置设备计算机可读介质

[发明专利]一种反制爬虫系统-CN202110790943.9在审
发明人：叶莹;于刚;李志刚 -专利权人：壹药网科技（上海）股份有限公司
申请日： 2021-07-13 - 公布日： 2021-09-03 - 主分类号： G06F21/55 文献下载
摘要：本发明涉及互联网检测技术领域，尤其涉及一种反制爬虫系统，其中，包括：存储模块，预先保存爬虫请求方的历史药品访问记录；判断模块，接收请求方发送的访问请求，并在访问请求满足爬虫请求条件时，将请求方作为爬虫请求方；分类模块，查询并提取所有历史药品访问记录，对每个爬虫请求方的历史药品访问记录中的药品分类形成请求历史药品类别详情页；生成模块，根据请求历史药品类别详情页和后台数据库中保存的药品信息，生成虚假药品信息；反馈模块，将虚假药品信息反馈给爬虫请求方。有益效果：便于将虚假药品信息定向反馈给爬虫请求方，减少爬虫请求方获取的真实数据，提高后台数据库的保护能力，降低爬虫风险管理运营成本。
一种反制爬虫系统

[发明专利]网络爬虫处置方法、装置、服务器及存储介质-CN202111441142.8在审
发明人：何嘉杰;邓玉;江魁栋 -专利权人：中国建设银行股份有限公司
申请日： 2021-11-30 - 公布日： 2022-04-26 - 主分类号： H04L9/40 文献下载
摘要：本申请涉及一种网络爬虫处置方法、装置、服务器和存储介质。该方法包括：对网络日志数据进行分析，获取网络日志数据中的预设字段，通过预设字段，确定网络日志数据所属的网络爬虫类别，根据网络日志数据所属的网络爬虫类别，更新网络爬虫的地址名单。采用本方法能够对待处置网络爬虫相关的网络日志数据进行处理，先确定网络日志数据所属的网络爬虫类别，进一步根据网络日志数据所属的网络爬虫类别去更新网络爬虫的地址名单，避免了对网络爬虫在不分类的情况下进行统一处置所存在的问题
网络爬虫处置方法装置服务器存储介质

[发明专利]一种石斛种植用防虫害设备-CN202111563886.7在审
发明人：冯维一;何庆元;徐荣华;胡鹏丽;朱军军;徐礼和;林灵;朱兴奇;陈敦福;李成全 -专利权人：安徽逸品山庄现代农业发展有限公司
申请日： 2021-12-20 - 公布日： 2022-04-12 - 主分类号： A01M1/02 文献下载
摘要：本发明涉及石斛种植领域，具体涉及一种石斛种植用防虫害设备，包括支撑机构和爬虫诱捕机构，支撑机构，其用以安装供料部；爬虫诱捕机构，其用以诱捕爬行类的害虫；供料部，其用以给爬虫诱捕机构补充诱捕液；供料部和爬虫诱捕机构之间设置有自动通断机构，以便给爬虫诱捕机构自动补充诱捕液。本发明通过加入支撑机构、供液部、爬虫诱捕机构和自动通断机构等，蜗牛等爬虫从通口进入储液壳并吸食糖水，同时，清理板缓慢转动将其扫进缺口处，爬虫随后落入收集盒，完成对蜗牛等爬虫的诱捕，提高了石斛的存活率，当储液壳内糖水减少时
一种石斛种植虫害设备

[发明专利]反爬虫的方法、装置、电子设备及存储介质-CN202211535967.0在审
发明人：马钰璐;蒋欧阳;李华 -专利权人：号百信息服务有限公司
申请日： 2022-12-02 - 公布日： 2023-05-05 - 主分类号： H04L9/40 文献下载
摘要：本发明涉及一种反爬虫的方法、装置、电子设备及存储介质。反爬虫方法包括步骤：S1、由爬虫判定模块进行爬虫判定外部查询请求，当爬虫判定模块判断为正常的访问请求，按原流程返回正确结果；当爬虫判定模块判断为异常的请求，转发到伪数据注入模块；S2、伪数据注入模块根据访问请求的键值生成伪数据返回值，把生成的伪数据结果作为请求响应返回给用户；伪数据注入模块同步记录数据，写入伪数据注入日志表；S3、当出现正常请求被错误判定为爬虫时，进行数据恢复，将正确的结果返回给用户恢复被伪数据污染的结果。依据本发明的反爬虫方法应用于码号查询服务场景，注入伪数据，保证爬虫获得的数据不可用；并且误判的情况下具备恢复正确数据的能力。
爬虫方法装置电子设备存储介质

[发明专利]爬虫资源分配方法、装置、设备及存储介质-CN202111422851.1在审
发明人：李学环;沈国栋 -专利权人：中移（苏州）软件技术有限公司;中国移动通信集团有限公司
申请日： 2021-11-26 - 公布日： 2023-05-30 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种爬虫资源分配方法、装置、设备及存储介质，该爬虫资源分配方法包括：基于目标网站和舆情系统数据热度指标确定爬虫任务的元数据基线表；该元数据基线表中包含爬虫任务的任务状态；扫描元数据基线表获取任务状态，根据任务状态确定目标爬虫任务从目标网站抓取的目标数据所处的热度周期；根据目标爬虫任务的平均实际调度周期和承诺调度周期、及目标数据的综合热度确定爬虫线程资源数。本发明实施例通过以目标网站为粒度并结合舆情系统数据热度指标确定爬虫任务的元数据基线表，进一步根据目标数据的热度周期实现动态资源调整，可以在有限资源情况下达到整体爬虫调度目标，以及提升产品对网络数据需求的及时性和适用性
爬虫资源分配方法装置设备存储介质

[发明专利]基于用户行为埋点的爬虫识别方法及系统-CN201810491289.X有效
发明人：付文平;孙大圣;许鹏 -专利权人：携程旅游网络技术（上海）有限公司
申请日： 2018-05-21 - 公布日： 2021-04-16 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种基于用户行为埋点的爬虫识别方法及系统，其中方法包括：S1、客户端接收用户发起的访问请求，并将访问请求向后端服务系统异步发送；S2、后端服务系统在接收到访问请求后，同步用户的访问日志，访问日志包括用户的访问行为数据；S3、后端服务系统通过规则引擎聚合访问行为数据；S4、后端服务系统根据聚合后的访问行为数据判断用户是否属于爬虫，若是则根据访问日志聚合出用于标识用户为爬虫的爬虫特征数据，然后将爬虫特征数据通过消息队列异步推送至所述客户端中的爬虫列表；S5、客户端根据爬虫列表响应访问请求。本发明通过同步访问日志，并聚合日志中的访问行为数据后识别爬虫，提高爬虫识别率和准确率。
基于用户行为爬虫识别方法系统

[发明专利]一种爬虫采集内容结构化的方法-CN201410111764.8有效
发明人：程瑶 -专利权人：浪潮电子信息产业股份有限公司
申请日： 2014-03-25 - 公布日： 2018-02-23 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种爬虫采集内容结构化的方法，适用于爬虫对网页的解析阶段，其适用的体系结构包括爬虫模块、解析模块和结合模块；其中，爬虫模块实现整个数据采集过程，包含结合模块；解析模块是实现网页解析的独立模块；结合模块用于连接爬虫模块和解析模块。该方法利用结合模块把爬虫模块和专业的网页解析模块结合到了一起，在爬虫进行到解析阶段时，会自动调用解析模块的内容；解析完毕后，会继续爬虫模块的剩余流程，将已经结构化完毕的字段提交给搜索引擎。该方法通过把具有网页解析功能的工具与爬虫结合，实现对用户需要字段的自定义解析、自定义提取，使用灵活，可以有效扩展可结构化的字段，扩大后期搜索分析的范围。
一种爬虫采集内容结构方法

[发明专利]一种可定制的网络爬虫方法及系统-CN201910292891.5有效
发明人：张熙;段馨凝;吴旭;方滨兴 -专利权人：北京邮电大学
申请日： 2019-04-12 - 公布日： 2021-09-24 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例提供了一种可定制的网络爬虫方法及系统，其中可定制的网络爬虫方法，包括：通过人工输入配置界面获取单个待生成爬虫任务的配置项；利用所述配置项中的第一爬虫名称，查找为所述第一爬虫名称预先配置的网站静态配置文件通过所述目标静态配置文件中包含的第一网站运行配置文件名称，查找为所述第一网站运行配置文件名称预先配置的网站运行配置文件，作为目标运行配置文件；基于所述目标静态配置文件、所述目标运行配置文件及所述配置项，生成包含所述配置项的爬虫任务；获取所述目标静态配置文件中包含的爬虫入口链接；执行用于对所述爬虫入口链接进行目标数据抓取的爬虫任务。
一种定制网络爬虫方法系统

首页
«上一页
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
下一页»
尾页
共 62837 条