“聚焦爬虫”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果62837个，建议您升级VIP下载更多相关专利

[发明专利]一种可视化自定义爬虫执行方法及系统-CN202211211224.8在审
发明人：李献福;赖成宾;张少校 -专利权人：中孚安全技术有限公司
申请日： 2022-09-30 - 公布日： 2023-01-24 - 主分类号： G06F16/951 文献下载
摘要：本发明提供了一种可视化自定义爬虫执行方法及系统，从过程导向出发，让用户通过可视化交互界面来实现爬虫执行流程的自定义，降低操作难度和用户理解掌握难度，最大限度降低数据的冗余度，减少爬虫程序的系统损耗，在采集到所需数据的同时提高爬取数据的效率，用户能够自定义爬虫执行流程，了解数据采集的具体过程，提升了用户体验。
一种可视化自定义爬虫执行方法系统

[发明专利]用于爬虫程序的数据处理方法及装置-CN201510728968.0在审
发明人：杨杰 -专利权人：北京国双科技有限公司
申请日： 2015-10-30 - 公布日： 2017-05-10 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种用于爬虫程序的数据处理方法及装置。其中，该方法包括获取预先设置的爬虫配置信息，其中，爬虫配置信息用于记录目标爬取资源的目标数据格式；获取待爬取任务中各个待爬取资源的数据格式；分别判断各个待爬取资源的数据格式是否与目标数据格式相同，并对数据格式与目标数据格式相同的待爬取资源进行爬取本发明解决了由于爬虫程序无法对爬取到的数据的类型进行筛选，造成的用于部署爬虫程序的服务器资源浪费的技术问题。
用于爬虫程序数据处理方法装置

[发明专利]一种基于网络爬虫的运维方案推荐系统及方法-CN201810731658.8在审
发明人：王鹏程;张新军;许森;程添亮 -专利权人：连云港杰瑞电子有限公司
申请日： 2018-07-05 - 公布日： 2018-11-20 - 主分类号： G06F17/30 文献下载
摘要：一种基于网络爬虫的运维方案推荐系统，该系统包括爬虫模块、方案库管理模块和推荐系统模块；爬虫模块，用于提取运维问题的关键字，通过构建爬虫获取目标站点的相关资讯、文章作为运维方案数据写入方案库；方案库管理模块，用于对方案库进行基础管理和数据爬取，通过爬虫模块获取目标站点的数据并整理再写入方案库；推荐系统模块，用于计算运维问题描述与方案的文本相似度评分，依此排序，推荐与运维问题描述相关性高的运维方案。该系统采用三层设计，包括数据层、服务层、应用层，将爬虫模块、方案库管理、推荐系统三个部分结合为一个整体，提高了运维解决方案推荐的准确率，为运维工作提供辅助。
运维方案库推荐系统爬虫模块管理模块获取目标网络爬虫问题描述写入站点文本相似度爬虫方案数据基础管理三层设计服务层数据层应用层准确率构建排序资讯管理

[发明专利]一种基于分布式爬虫的数据获取方法及其系统-CN201810274062.X在审
发明人：王华伟 -专利权人：合肥俊刚机械科技有限公司
申请日： 2018-03-29 - 公布日： 2018-09-14 - 主分类号： G06F17/30 文献下载
摘要：本发明公开一种基于分布式爬虫的数据获取方法，包括以下步骤：根据不同网页的属性对网页进行划分；针对网页的划分，确定至少一个爬虫抓取参数；按照确定的爬虫抓取参数抓取当前网页信息，并对抓取的网页信息进行解析，本发明基于分布式爬虫的数据获取方法及其系统，通过对网页进行划分，并按照网页的划分确定爬虫抓取参数，通过爬虫抓取参数可抓取网页信息，且跳转连接可与其他网页进行连接，实现网页信息的快速抓取，保证在较短的时间内完成数据的采集
抓取爬虫网页网页信息数据获取网页数据信息解析数据编译数据保存模块采集跳转解析存储反馈保证

[发明专利]一种基于分布式爬虫技术的政策资讯采集管理系统-CN201811200703.3在审
发明人：冯瑞伦 -专利权人：珠海智慧创新科技有限公司
申请日： 2018-10-16 - 公布日： 2019-02-01 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开了一种基于分布式爬虫技术的政策资讯采集管理系统，包括数据集中处理中心，所述数据集中处理中心输出端分别设有紧急预警端、数据查看端和管理操控端，所述紧急预警端、数据查看端和管理操控端相互连通，所述数据集中处理中心通过以太网传输线缆分别连接有数据备份数据库和数据存储数据库，所述数据集中处理中心连接端设有多个网络爬虫处理模块。本发明通过设有网络爬虫处理模块，网络爬虫处理模块通过ZooKeeper调节各模块工作，分布式协调工具，并且可以监控各个爬虫的运行状态，政策资讯详细信息通过网络爬虫处理模块处理后可以进一步传输至数据集中处理中心
数据集中处理处理模块网络爬虫采集管理系统资讯紧急预警爬虫技术数据查看操控端存储数据库分布式协调以太网传输准确度爬虫数据备份提取信息详细信息运行状态中心连接输出端线缆政策连通数据库传输管理监控

[发明专利]请求数据处理方法及请求数据处理系统-CN201611169321.X在审
发明人：苟顺涛;李巍 -专利权人：携程计算机技术（上海）有限公司
申请日： 2016-12-16 - 公布日： 2017-03-22 - 主分类号： H04L29/06 文献下载
摘要：本发明基于请求结果的二次加密，可以在请求结果被爬虫获取时，有效防止爬虫获取请求信息，提高爬虫破解的难度，对爬虫进行更有效的拦截。并且，本发明对请求结果加密可以实现零误伤，对于用户来说这一过程是透明的，对于爬虫来说，拿到请求结果之后不能直接获取数据，从而实现在不影响误伤率，几乎不影响性能的情况下，大大增加爬虫获取数据的难度。
请求数据处理方法数据处理系统

[发明专利]一种基于LDA的学术资源获取方法-CN201611128684.9在审
发明人：刘柏嵩;费晨杰;王洋洋;尹丽玲;高元 -专利权人：宁波大学
申请日： 2016-12-09 - 公布日： 2017-05-31 - 主分类号： G06F17/30 文献下载
摘要：提供一种基于LDA的学术资源获取方法，使用主题爬虫，同时使用LDA主题模型，先提供训练语料库供LDA主题模型训练得到主题文档，主题爬虫在普通网络爬虫的基础上进一步包括主题确定模块、相似度计算模块、URL优先级排序模块；主题爬虫爬行过程中，用主题文档指导主题相似度的计算，选取主题相似度大于设定阈值的URL，由主题爬虫维护一个未访问网页的URL队列，主题爬虫按URL队列的排列顺序先后不断地访问各URL的网页
一种基于 lda 学术资源获取方法

[发明专利]一种配置化爬虫质量监测的方法及系统-CN201810007604.7在审
发明人：张波;李界鹏;王能 -专利权人：北京中关村科金技术有限公司
申请日： 2018-01-04 - 公布日： 2018-06-29 - 主分类号： G06F11/32 文献下载
摘要：本申请公开了一种配置化爬虫质量监测的方法，包括：获取爬虫程序爬取各网站的授权记录参数，并将授权记录参数保存到数据库中；读取配置文件，以得到需要监测的网站ID、监测时间段及报警阈值；从数据库中读取网站ID该方法通过获取爬虫程序爬取各网站的授权记录参数，能够实现多方位监测爬虫程序的授权过程及爬虫质量；通过读取配置文件，以得到需要监测的网站ID、监测时间段及报警阈值，达到根据用户需求做个性化监测的效果。本申请同时还提供了一种配置化爬虫质量监测的系统、服务器及计算机可读存储介质，具有上述有益效果。
网站记录参数爬虫授权读取监测时间段爬虫程序质量监测配置文件报警监测配置数据库计算机可读存储介质多方位监测报警信号用户需求申请服务器个性化保存

[发明专利]艺术墙-CN201711199655.6在审
发明人：严国伟 -专利权人：惠州市威帝食品科技有限公司
申请日： 2017-11-26 - 公布日： 2018-05-04 - 主分类号： E04B1/72 文献下载
摘要：配重组件及防虫蛀组件，支撑组件包括多个支撑枕体，且每两个支撑枕体之间的距离相等；配重组件包括第一配重盘及第二配重盘，防虫蛀组件包括多个防虫蛀件，各防虫蛀件分别设置于支撑板体上，在一个防虫蛀件中，防虫蛀件包括安装盒体、爬虫引入柱体、爬虫引诱药物层、灭虫电击金属网及电源模组，安装盒体设置于支撑板体上，爬虫引入柱体设置于安装盒体上，爬虫引入柱体上开设有爬虫引入柱体通道，安装盒体内开设有灭虫腔体，爬虫引入柱体通道与灭虫腔体连通，灭虫电击金属网设置于灭虫腔体内
艺术

[发明专利]网络爬虫系统及方法-CN201910017134.7在审
发明人：郭星星 -专利权人：鑫涌算力信息科技（上海）有限公司
申请日： 2019-01-08 - 公布日： 2019-05-21 - 主分类号： G06F16/951 文献下载
摘要：本公开提供了一种网络爬虫系统及方法，所述网络爬虫系统可以在用户授权的情况下自动抓取网络特定信息，所述用户交互模块获取了用户授权信息之后用把相关的授权信息提交到调度处理模块，由调度模块处理抓取相应的规则，解决了普通网络爬虫无法对于特定私有信息的自动化获取。同时，所述网络爬虫系统使用消息队列，作为中间件，来实现异步解耦，所述网络爬虫系统采用异步的请求方式来处理任务，系统结构易于拓展，各层连接通过消息队列来处理，使爬虫任务有了下发式，避免了重复任务的情况，增加了系统的稳定性
网络爬虫系统消息队列抓取调度处理模块网络特定信息用户交互模块用户授权信息系统利用率爬虫调度模块授权信息私有信息网络爬虫系统结构系统资源用户授权用户响应自动抓取中间件解耦并发自动化重复拓展

[发明专利]基于Scrapy的数据爬取方法、终端设备及计算机可读存储介质-CN201910294765.3在审
发明人：董润华;徐国强;邱寒 -专利权人：深圳壹账通智能科技有限公司
申请日： 2019-04-12 - 公布日： 2019-08-20 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及一种数据爬取技术领域，揭露了一种基于Scrapy的数据爬取方法，该方法包括：在爪哇脚本对象简谱JSON文件中对基于Scrapy框架的爬虫文件的配置参数进行定义；对所述JSON文件进行命名，创建爬虫文件，并将所述爬虫文件的名称按照所述JSON文件的名称进行命名；将所述JSON文件的配置参数导入所述爬虫文件；运行导入配置参数后的爬虫文件，爬取网页数据。本发明提供的基于Scrapy的数据爬取方法、终端设备及计算机可读存储介质，能够通过JSON文件定义Scrapy文件的配置参数，JSON文件集合了一个爬虫文件所需的配置文件，提高代码编写效率，降低漏洞数量
爬虫配置参数计算机可读存储介质终端设备网页数据简谱代码编写脚本对象配置文件文件集合漏洞创建

[发明专利]可视化网站内容采集方法和系统-CN202010825266.5在审
发明人：邬鹏程;陈可义;张智超 -专利权人：江苏百达智慧网络科技有限公司
申请日： 2020-08-17 - 公布日： 2020-11-20 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了可视化网站内容采集方法和系统，将配置指令对应的参数代码填入预先生成的爬虫代码模板中，生成根据配置指令生成的爬虫文件；确定要部署爬虫文件的主机服务器节点；利用预先部署的scrapy将爬虫代码源文件打包编译成egg文件并利用scrapyd接口服务向要部署爬虫文件的主机服务器节点上传egg文件；接收到egg文件的主机服务器节点启动爬虫，进行网站内容采集。
可视化网站内容采集方法系统

[发明专利]一种基于自学习的数据爬取方法及装置-CN202011155504.2在审
发明人：杨一未;郝永乐;吴薇;张丹 -专利权人：中国信息安全测评中心
申请日： 2020-10-26 - 公布日： 2021-01-15 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种基于自学习的数据爬取方法及装置，预先构建包括网站结构和爬虫程序模板对应关系的网站结构数据库，对应关系至少为一个，该方法包括：在对当前网站的爬取时，获取当前网站的网站结构；遍历网站结构数据库，查找与网站结构匹配的第一目标爬虫程序模板；基于第一目标爬虫程序模板对当前网站进行爬取；在网站结构改变导致爬取异常时，继续匹配网站结构数据库查找与当前网站匹配的第二目标爬虫程序模板；基于第二目标爬虫程序模板对当前网站进行爬取上述方法，预先建立网站结构数据库，当网站结构改变时依旧可以依据网站结构数据库中的对应关系，查找到对应的爬虫程序模板，不需要重新开发程序，不会导致爬取数据中断。
一种基于自学习数据方法装置

[发明专利]互联网数据采集方法及装置-CN202010003299.1在审
发明人：刘睿;黄践焜 -专利权人：北京天元创新科技有限公司
申请日： 2020-01-02 - 公布日： 2020-05-29 - 主分类号： G06F16/951 文献下载
摘要：其中，方法包括：接收功能组件的拖拽指令和配置指令，根据拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；根据有向无环图和各功能组件对应的脚本模板，生成网络爬虫的代码；将网络爬虫的代码发送至客户端，以使得客户端执行网络爬虫的代码，进行互联网数据采集。本发明实施例提供的互联网数据采集方法及装置，通过有向无环图描述互联网数据采集逻辑，通过流程引擎生成网络爬虫的代码，通过客户端执行网络爬虫的代码实现互联网数据采集，不需要进行Python编程，爬虫定义过程无代码
互联网数据采集方法装置

[发明专利]一种多爬虫平台的调度方法、装置、存储介质及处理器-CN201811162734.4在审
发明人：张志强 -专利权人：北京国双科技有限公司
申请日： 2018-09-30 - 公布日： 2020-04-07 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种多爬虫平台的调度方法，获取至少一个待执行任务；对每个待执行任务：若所述待执行任务的任务量大于预设值，则对所述待执行任务进行分片得到多个子任务；若所述待执行任务的任务量小于等于预设值，则将所述待执行任务作为一个子任务；每个子任务的任务量均小于等于预设值；将所述子任务分配给可用的爬虫平台，完成对爬虫平台的调度；所述可用的爬虫平台包括状态为正常且可处理任务数不为0的爬虫平台。本发明高效利用多爬虫平台的能力，根据待执行任务的任务量对待执行任务进行合理分配，提高了任务的完成率和响应速度。
一种爬虫平台调度方法装置存储介质处理器