“聚焦爬虫”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果62837个，建议您升级VIP下载更多相关专利

[发明专利]一种分布式爬虫系统及其实现方法-CN201911095920.5在审
发明人：李亚萍;侯林勇;刘婉莹;王俊;张亮;杨坤;方程;袁率 -专利权人：贵州小叮当信息技术有限公司
申请日： 2019-11-11 - 公布日： 2020-04-24 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种分布式爬虫系统及其实现方法，包括登录窗口、日常空间和工作空间，登录窗口的输出端分别与日常空间和工作空间的输入端连接，日常空间和工作空间的输出端分别与通用网络爬虫系统和聚焦网络爬虫系统的输入端连接，本发明涉及爬虫系统技术领域。该分布式爬虫系统及其实现方法，通过设置日常空间和工作空间两种模式，并设置通用网络爬虫系统和聚焦网络爬虫系统分别搭载在两种模式上，日常空间可正常检索所有信息，而聚焦网络爬虫系统可正对性的采集与工作相关的信息，两种模式随意切换，互不干扰，且聚焦网络爬虫系统是依附于通用网络爬虫系统的主体结构使用，只需将部分程序文件替换，则可实现两种模式的切换。
一种分布式爬虫系统及其实现方法

[发明专利]一种基于遗传算法的智能聚焦爬虫系统-CN201910072237.3在审
发明人：王磊;倪林 -专利权人：东华大学
申请日： 2019-01-25 - 公布日： 2019-05-28 - 主分类号： G06F16/953 文献下载
摘要：本发明涉及一种基于遗传算法的智能聚焦爬虫系统，其特征在于，包括：初始化模块；主题相似性判断模块，用于确定种子URL集中各被浏览网页的网页主题，计算网页主题与用户查找主题相关性；任务模块，将主题相似性判断模块获得的网页适应度值较高的网页的链接存储到URL结果集中，并根据URL结果集生成待爬取任务；爬虫模块。本发明将智能算法应用到爬虫系统中，使爬虫系统自适应能力增强，提高爬取信息的准确度。本发明提供的智能聚焦爬虫系统弥补了传统爬虫的不足，它是一种面向特定主题的爬虫系统。智能聚焦爬虫系统能够有目的的提取互联网中用户所需要的资源。
聚焦爬虫爬虫系统智能主题相似性判断模块网页主题遗传算法网页初始化模块自适应能力准确度爬虫链接存储爬虫模块任务模块用户查找智能算法浏览网页结果集适应度互联网应用

[发明专利]基于锚文本的聚焦网络爬虫搜索方法及其系统-CN201110230220.X有效
发明人：郝红卫;台宪青;王艳军;殷绪成 -专利权人：中国科学院自动化研究所
申请日： 2011-08-11 - 公布日： 2011-12-28 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于锚文本的聚焦网络爬虫搜索方法及其系统，所述方法主要包括：从URL优先级队列中获取URL，并依据URL从Internet下载得到Web页面；对下载的Web页面进行解析，提取URL及其锚文本；对提取出的URL及其锚文本进行筛选；采用TF-IDF与LSI相结合的算法来计算URL的主题相关度，并将符合条件的URL放入优先级队列中；所述系统包括：URL优先级队列、网络爬虫下载器、Web页面库、URL通过采用所述基于锚文本的聚焦网络爬虫搜索方法及其系统，本发明提高了聚焦网络爬虫爬行结果的主题相关度及爬行效率。
基于文本聚焦网络爬虫搜索方法及其系统

[发明专利]面向聚焦的Web网页获取和信息抽取方法-CN201710076819.X在审
发明人：朱文浩;金鑫;姚滕俊;陈洁;胡冠男 -专利权人：上海大学
申请日： 2017-02-13 - 公布日： 2017-07-21 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及面向聚焦的Web网页获取和信息抽取方法，其包括以下步骤1.创建一个基于URL结构过滤的非监督的聚焦爬虫。本发明基于URL结构过滤的非监督聚焦爬虫相较于基于内容的聚焦爬虫，可以达到更高的收获率和执行效率，该方法克服了传统网页信息抽取中针对不同的网站制作不同的包装器的缺点，提高了抽取方法的适应能力。
面向聚焦 web 网页获取信息抽取方法

[发明专利]一种基于网络爬虫的自动化采集方法-CN201510248866.9在审
发明人：邱继钊;王传超;徐宏伟 -专利权人：浪潮软件集团有限公司
申请日： 2015-05-15 - 公布日： 2015-08-26 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于网络爬虫的自动化采集方法，属于计算机网络爬虫技术领域，该自动化采集方法是利用聚焦网络爬虫抓取没采集服务器的采集功能地址，将服务器采集的功能地址加入到管理节点进行统一采集与配置管理；每台采集节点服务器中部署相应的采集程序本发明的一种基于网络爬虫的自动化采集方法和现有技术相比，通过采用聚焦爬虫技术，不需要大量的人工进入到每台服务器进行配置与采集，不但大大减少了技术人员的工作量，有效的提高了工作效率，而且能方便采集管理，有效地提取并利用信息
一种基于网络爬虫自动化采集方法

[发明专利]一种基于深度学习和增强学习的聚焦爬虫链接价值预测方法-CN201811442700.0有效
发明人：李石君;黎文丹;杨济海;余伟;余放;李宇轩 -专利权人：武汉大学
申请日： 2018-11-29 - 公布日： 2021-08-17 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及一种基于深度学习和增强学习的聚焦爬虫链接价值预测方法，所述方法中网络爬虫沿着URL链接构成的网络拓扑图爬行，通过历史爬行过程的累计奖赏信息和URL特征预测URL链接的主题价值，并依据链接主题价值的大小选择下一个目标网页本发明的创新点在与构建了可用于增强学习的链接特征向量并将深度学习和增强学习结合用于聚焦爬行过程中的链接价值预测问题。
一种基于深度学习增强聚焦爬虫链接价值预测方法

[发明专利]用于海外投资风险预警的网络舆情检测方法及系统-CN201810992717.7在审
发明人：薛文芳;李林静;孙哲南 -专利权人：中国科学院自动化研究所
申请日： 2018-08-29 - 公布日： 2019-02-12 - 主分类号： G06Q40/06 文献下载
摘要：本发明涉及一种用于海外投资风险预警的网络舆情检测方法及系统，所述网络舆情检测方法包括：采用聚焦爬虫技术，进行网络数据的采集和处理，得到有效舆情信息；根据所述有效舆情信息，确定海外投资风险情报。本发明通过采用聚焦爬虫技术，进行网络数据的采集和处理，可有效综合国际舆情信息，进而根据所述有效舆情信息，确定海外投资风险情报，可提高海外投资风险预警的及时性和准确性。
舆情信息风险预警网络舆情聚焦爬虫网络数据投资检测采集情报

[发明专利]基于宝藏图的链接与内容结合的聚焦网络爬虫搜索方法-CN201711241370.4在审
发明人：马廷淮;周宏豪;赵雨薇;荣欢;曹杰 -专利权人：南京信息工程大学
申请日： 2017-11-30 - 公布日： 2018-04-13 - 主分类号： G06F17/30 文献下载
摘要：本发明提供基于宝藏图的链接与内容结合的聚焦网络爬虫搜索方法。聚焦网络爬虫的两个重要任务是1.在网页上找到有关特定主题的文档；2.对这些网页进行分析并根据其与搜索主题的相关度进行排序。本发明能充分挖掘网络中的有用信息，提高了聚焦爬虫的运行效率和爬取能力。
基于宝藏链接内容结合聚焦网络爬虫搜索方法

[发明专利]一种基于链接分析的聚焦爬虫方法-CN201410227771.4有效
发明人：屈鸿;周安林;张马路;孙明;邵领 -专利权人：电子科技大学
申请日： 2014-05-27 - 公布日： 2017-10-20 - 主分类号： G06F17/30 文献下载
摘要：一种基于链接分析的聚焦爬虫方法，属于互联网信息检索、搜索引擎等领域，解决现有爬虫抓取准确率不高的问题，包括如下步骤抓取网页，将网页和目标样本网页的结构进行比较，确定目标网页，从网站入口链接开始，记录爬虫到目标网页的每一条链接路径，建立目标网页链接树；分析目标网页链接树，归纳链接树中目标网页路径上的链接，替换链接树中的链接，形成链接模版树；爬虫使用链接模版树作为导航，抓取与链接模版树相匹配中的网页链接，直到整个抓取循环过程结束，本发明的爬虫能够根据链接模版树的导航，在抓取网页的过程中，只抓取有效的链接，从而保证爬虫抓取网页的效率和准确率。
一种基于链接分析聚焦爬虫方法

[发明专利]一种基于指定电子商务网站的定向爬虫的实现方法-CN201410266881.1在审
发明人：朱全银;周泓;李翔;潘禄;刘文儒;戎圣吉;张宇洋;曹苏群;王留洋;周蕾 -专利权人：淮阴工学院
申请日： 2014-06-13 - 公布日： 2014-09-17 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种基于指定电子商务网站的定向爬虫的实现方法，本发明属于WEB数据采集领域，为提高爬虫的分析效率、爬准率，降低因网页内容变动地而导致的爬虫失效率，提高代码的可读性和健壮性；在广义爬虫的基础上，利用队列对任务的顺序进行管理、使用线程池管理机制实现多线程的网页内容分析来提高爬取效率，利用Python作为实现语言，使用CSS选择器和正则表达式结合的手法对指定页面信息进行抓取，大幅提高了爬虫的分析效率、可读性及容错率，从而形成的一种专用于分析指定电子商务网站商城商品信息的聚焦爬虫，该方法提高了爬虫的效率与爬准率，增强了爬虫的适应性和健壮性。
一种基于指定电子商务网站定向爬虫实现方法

[发明专利]一种基于聚焦网络爬虫抓取数据的营商环境态势分析系统-CN202211241315.6在审
发明人：陈迪;赵洪涛;于佳平 -专利权人：黑龙江资海科技集团有限公司
申请日： 2022-10-11 - 公布日： 2022-12-27 - 主分类号： G06Q30/02 文献下载
摘要：本发明提出一种基于聚焦网络爬虫抓取数据的营商环境态势分析系统，属于数据处理技术领域。包括：网络爬虫模块、数据处理模块、信息检索模块和数据库；网络爬虫模块、数据处理模块、信息检索模块和数据库依次连接；所述网络爬虫模块用于网站数据的抓取；包括特征网页地址集URLs、URLs队列和网络爬虫单元
一种基于聚焦网络爬虫抓取数据环境态势分析系统

[发明专利]一种动态检测失效流量的网络爬虫方法-CN202110086472.3有效
发明人：秦康;赵小敏 -专利权人：浙江工业大学
申请日： 2021-01-22 - 公布日： 2022-05-17 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及一种动态检测失效流量的网络爬虫方法，包括以下步骤，首先通过分析网络请求信息构建动态检测失效流量模型的数据集，然后设计出动态检测失效流量的方法，接着对URL队列中的信息进行读取并且对Cookie本发明弥补了现有聚焦爬虫和增量爬虫在Cookie失效问题的处理上和数据重复处理上的不足之处，降低了爬取数据的失效和重复概率，对爬虫系统的设计提供了可借鉴的方案，提高了爬虫系统的整体性能。
一种动态检测失效流量网络爬虫方法

[发明专利]一种基于大数据和云计算的空气污染检测及报警系统-CN202010144364.2在审
发明人：丁凡;丁峰;马敏劲;张恩展;马裕展 -专利权人：兰州理工大学
申请日： 2020-03-04 - 公布日： 2020-06-26 - 主分类号： H04L29/08 文献下载
摘要：本发明公开了一种基于大数据和云计算的空气污染检测及报警系统，包括：互联网、爬虫、基于Hadoop的云平台和MapReduce并行处理，基于Hadoop的云平台的输出端与MapReduce并行处理的输入端电性连接；爬虫模块，爬虫模块的输入端通过爬虫与互联网的输出端进行信息通信，爬虫模块的输入端与基于Hadoop的云平台的输出端电性连接，本发明涉及大气污染数据检测技术领域。该基于大数据和云计算的空气污染检测及报警系统通过使用“聚焦爬虫”快速定向的获取了所需数据；通过Hadoop分布式处理，设计了基于随机森林算法的预测算法对获取的数据进行处理，数值试验结果表明，该算法能够有效减少预测误差
一种基于数据计算空气污染检测报警系统

[发明专利]一种面向对等网络的可定义搜索重点的网络爬虫方法-CN201610563533.X在审
发明人：仇伟民;戴鸿君;于治楼 -专利权人：浪潮集团有限公司
申请日： 2016-07-18 - 公布日： 2016-12-07 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种面向对等网络的可定义搜索重点的网络爬虫方法，属于计算机网络信息检索领域，本发明要解决的技术问题为如何将对等网络和网络爬虫结合，实现可定义搜索重点的网络爬虫对特定领域和主题实现描述的难度较小而且准确度较高，采用的技术方案为：该方法是利用基于站点页面链接结构的链接导航技术来提高主题信息的抓取准确率和速度，采用易于操作的主题描述来实现高可定制性的网络爬虫，通过配置文件来实现可定制，最终构建出一个可控性强、资源消耗小、数据采集准确性高的轻量级聚焦网络爬虫，以满足P2P搜索的需求。
一种面向对等网络可定义搜索重点爬虫方法

[发明专利]一种基于网络爬虫技术的自然灾害主动推送方法及系统-CN202210489124.5在审
发明人：叶晶;李树秋 -专利权人：江苏吉高信息技术有限公司
申请日： 2022-05-07 - 公布日： 2022-08-30 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开了一种基于网络爬虫技术的自然灾害主动推送方法及系统，涉及灾害推送领域。所述方法包括：通过网络爬虫技术，搭建自然灾害的聚焦网络，提前确定好需要监测的自然灾害的关键词，利用控制节点控制爬虫节点对确定好的关键词进行网络爬虫，对爬虫到的页面数据进行有效过滤，同时，对过滤后的页面数据进行爬行频率的优先级检索
一种基于网络爬虫技术自然灾害主动推送方法系统

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 62837 条