“爬取器”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果9056705个，建议您升级VIP下载更多相关专利

[发明专利]一种主机负荷智能感知的定向爬虫方法及系统-CN201911353456.5在审
发明人：凌建辉;张启航;王天昊;曹勇;王禄生;张柏礼 -专利权人：东南大学
申请日： 2019-12-25 - 公布日： 2020-05-08 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种主机负荷智能感知的定向爬虫方法及系统，方法包括：(1)打开浏览器并定位到待爬取站点，通过模拟浏览器行为实现页面的跳转以及读取；(2)根据设置的检索条件自动生成需要爬取页面的URL集合；(3)根据爬虫任务的重要性和紧迫程度对URL集合进行优先级分级，划分为若干个子集合，为每个子集合分配一个或多个线程来处理；(4)每个线程在进行数据爬取时所采用的方法为：A、对于URL中待爬取的条目，抓取相应内容的关键字词或标题，进行语义分析，并根据语义分析结果筛选爬取内容；B、记录当前页面响应时间，并与历史页面响应时间比较，从而感知主机/网络的繁忙程度，动态地调整爬取速度。
一种主机负荷智能感知定向爬虫方法系统

[发明专利]一种爬虫系统IO优化方法及装置-CN201711088268.5在审
发明人：陈开冉;邓楚健 -专利权人：广州探迹科技有限公司
申请日： 2017-11-07 - 公布日： 2018-04-20 - 主分类号： G06F17/30 文献下载
摘要：该方法包括第一结果处理器缓存接收的第一爬虫，当确定缓存的爬取结果的数量超过聚合阈值，将多个爬取结果按照首尾拼接方法写入到聚合文件中，并记录每个爬取结果的位置偏移量；根据聚合文件的内容生成在大文件对象存储系统内存储的聚合路径，并将聚合文件发送至聚合路径下；根据聚合文件生成包含每个爬取结果，每个爬取结果的位置偏移量，聚合路径以及每个爬虫的编号的聚合日志，并将聚合日志发送至日志处理器。
一种爬虫系统 io 优化方法装置

[发明专利]数据爬取方法、装置、计算机设备和存储介质-CN201811118100.9有效
发明人：李晨光 -专利权人：深圳壹账通智能科技有限公司
申请日： 2018-09-26 - 公布日： 2022-09-02 - 主分类号： H04L61/58 文献下载
摘要：本申请涉及一种基于数据资源的数据爬取方法、装置、计算机设备和存储介质。所述方法包括：接收数据爬取请求，并根据数据爬取请求获取正常访问的用户代理的参数值，将网络爬虫的用户代理的取值设置为参数值，获得可用网络爬虫，利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址，利用代理缓存服务器绑定多个有效IP地址，并根据多个有效IP地址生成代理IP地址表，利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。采用本方法有利于通过网站对于网络爬虫的属性检测，减少被拦截情况，并及时更换网络爬虫使用的IP地址，保证网络爬虫可使用有效地址，实现数据爬取操作。
数据方法装置计算机设备存储介质

[发明专利]招投标相关网页爬取任务调度方法及系统-CN201811481861.0有效
发明人：杨敏 -专利权人：贵阳高新数通信息有限公司
申请日： 2018-12-05 - 公布日： 2022-10-28 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及网络信息获取领域，具体涉及一种招投标相关网页爬取任务调度方法及系统，该系统包括：用户终端、总服务器和多台子服务器；所述用户终端用于用户关注、购买和查看对应企业网站上爬取的信息；所述总服务器用于获取企业网站日均访问人数、日访问时间记录信息、企业信息更新时间信息以及用户查看信息规律表，然后根据获取的所有信息生成分配模型，并根据生成的分配模型分配子服务器进行信息爬取。本方案适用于分别针对不同用户进行其关注信息的爬取。
投标相关网页任务调度方法系统

[发明专利]目标语料数据的爬取方法、装置及存储介质-CN201810876287.2有效
发明人：吴壮伟 -专利权人：平安科技（深圳）有限公司
申请日： 2018-08-03 - 公布日： 2023-04-07 - 主分类号： G06F16/955 文献下载
摘要：本发明提供一种目标语料数据的爬取方法，该方法在接收到目标信息的爬取请求后，首先确定爬取目标语料所需的爬取规则，调用爬取规则，依次从初始语料库中爬取第一标题页URL列表、第一列表页URL列表及第一内容页URL列表，然后爬取第一标题页URL列表对应的第二列表页URL列表，生成第三列表页URL列表，爬取第三列表页URL列表对应的第二内容页URL列表，生成第三内容页URL列表，以获取内容页数据，最后利用目标信息爬取规则爬取出目标信息利用本发明，可以提高爬取目标语料数据的效率及准确性。
目标语料数据方法装置存储介质

[发明专利]一种网页爬虫的爬取时间频率选择方法及装置-CN202210968153.X在审
发明人：谭尼平 -专利权人：中电信数智科技有限公司
申请日： 2022-08-12 - 公布日： 2022-10-21 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及一种网页爬虫的爬取时间频率选择方法及装置,属于机器学习技术领域。方法包括：判断目标网站是否有反爬策略，若是，则获取所述目标网站的爬取时间频率临界值；构建训练数据，利用所述训练数据对模型进行训练，得到时间频率选择模型；调用所述时间频率选择模型，根据所述爬取时间频率临界值，输出最优的爬取时间频率。该方法能够自动选择针对目标网站的最优爬取时间频率，根据该最优爬取时间频率进行数据的爬取，提高了爬虫爬取数据的效率，减轻了技术人员的工作强度。
一种网页爬虫时间频率选择方法装置

[发明专利]一种爬虫的爬取方法及装置-CN201610196270.3在审
发明人：潘峰;孙德彬 -专利权人：北京国双科技有限公司
申请日： 2016-03-31 - 公布日： 2017-10-24 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种爬虫的爬取方法及装置，主要目的是提高了爬虫爬取过程中网址检查的速度，同时提高了检查的准确性。所述方法包括获取待爬取域名，对所述待爬取域名进行域名解析，根据解析的结果判断所述待爬取域名与预置域名是否相同，对与所述预置域名相同的待爬取域名进行爬取。本发明主要用于域名的解析。
一种爬虫方法装置

[发明专利]一种数据获取方法、装置、电子设备及存储介质-CN201910251969.9在审
发明人：胡凌云;丁国航 -专利权人：北京达佳互联信息技术有限公司
申请日： 2019-03-29 - 公布日： 2019-06-25 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例提供了一种数据获取方法、装置、电子设备及存储介质，该方法包括：集群中的每个处理模块都可以从分布式队列中获取爬取请求，处理模块根据获取到的爬取请求爬取数据后，如果数据中仍包括链接，则可以继续将该链接封装成新的爬取请求，将该新的爬取请求投递至分布式队列中，这样，各处理模块可以并行爬取数据，提高了爬取效率。
处理模块分布式队列存储介质电子设备数据获取链接集群封装投递并行申请

[发明专利]一种基于树莓派的网络舆情展现系统-CN202110567772.3有效
发明人：邓帅杰;王德志;罗琛;王德宇;王凯琳;陈超;李泽荃;李永飞 -专利权人：华北科技学院（中国煤矿安全技术培训中心）
申请日： 2021-05-24 - 公布日： 2023-07-18 - 主分类号： G06F16/951 文献下载
摘要：该系统包括：树莓派和显示器，树莓派上配置有民生舆情及新闻信息爬取程序，民生舆情及新闻信息爬取程序配置为基于模糊综合评价法构建的网站爬虫池，爬取新闻网站的新闻事件以及民生网站的民生事件，并分别对新闻事件和民生事件的关键词进行统计；显示器与树莓派通讯连接，展示显示器的第一显示区域对新闻事件进行滚动显示，展示显示器的第二显示区域对民生事件进行滚动显示；交互显示器能够分别对新闻事件的关键词、以及民生事件的关键词的统计数据进行展示，由交互对象根据统计数据确定热点关键词并调用树莓派中的民生舆情及新闻信息爬取程序，对热点关键词对应的网络舆情进行爬取并展现。
一种基于树莓派网络舆情展现系统

[发明专利]一种增量更新与爬取技术-CN201310040088.5在审
发明人：尹科 -专利权人：北京英富森信息技术有限公司
申请日： 2013-02-01 - 公布日： 2014-08-06 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种增量更新与爬取技术，包括：判断待爬取网页内容的UR是否为静态页面的链接地址；当待爬取网页内容的URL为静态页面的链接地址时，判断所述URL是否爬取过，是则用所述URL替换已存储的URL；否则，根据爬取日期创建年/月/日/URL链接地址的文件夹，将待爬取网页的内容存储到所述文件夹中。本发明通过每次获取待爬取网页的URL时，判断所述URL是属于静态页面的还是动态页面的链接地址。如果是静态页面的，则判断所述URL是否已经爬取过，如已经爬取过则不进行爬取，直接将已经爬取过的URL替换成现有的链接地址存储，实现了静态页面的增量更新存储的要求，从而减少爬虫系统更新页面的工作量，提升了页面的新鲜度
一种增量更新技术

[发明专利]网站数据爬取方法、装置、计算机设备及可读存储介质-CN201710620026.X有效
发明人：李江华;李武奇 -专利权人：深圳壹账通智能科技有限公司
申请日： 2017-07-26 - 公布日： 2020-08-28 - 主分类号： G06F16/955 文献下载
摘要：本发明涉及一种网站数据爬取方法、装置、计算机设备及可读存储介质，该方法包括获取待爬取网站数据的数据标识和产生日期；获取本地存储的与数据标识对应的网站数据的产生日期；当待爬取网站数据的产生日期与本地存储的网站数据的产生日期不同时，则爬取并输出产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式相同时，则输出本地存储的产生日期与所述待爬取网站数据的产生日期相同的网站数据上述的网站数据爬取方法、装置、计算机设备及可读存储介质，可以直接输出本地存储的网站数据，减少爬取的数据量，从而可以提高爬取数据的输出显示速度。
网站数据方法装置计算机设备可读存储介质

[发明专利]网页链接的爬取方法及装置-CN201510463687.7有效
发明人：孙德彬;冯鸳鹤 -专利权人：北京国双科技有限公司
申请日： 2015-07-31 - 公布日： 2019-12-10 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网页链接的爬取方法及装置。该网页链接的爬取方法包括：获取爬取失败的网页链接；基于超时时间参数集合对网页链接重新进行爬取，得到爬取结果，其中，超时时间参数集合中包括至少两个不同的超时时间参数；根据爬取结果判断网页链接是否为无效的网页链接；以及如果判断出网页链接为无效的网页链接，则不再对网页链接进行爬取。通过本发明，解决了相关技术中对无效的网页链接进行爬取会造成爬虫资源的浪费的问题。
网页链接方法装置

[发明专利]网页爬取请求处理方法和装置-CN201510728872.4有效
发明人：何熠皓 -专利权人：北京国双科技有限公司
申请日： 2015-10-30 - 公布日： 2020-02-28 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种网页爬取请求处理方法和装置。其中，该方法包括：获取新解析得到的待爬取请求，其中，待爬取请求包括待爬取页面的链接；判断是否存在存储文件，其中，存储文件用于存储待爬取请求；在判断出不存在存储文件时，将新解析得到的待爬取请求存储于请求队列中；以及在判断出存在存储文件时，将新解析得到的待爬取请求存储于存储文件中。本申请解决了直接将大量的网页爬取请求存储于内存中耗费内存空间的技术问题。
网页请求处理方法装置

[发明专利]一种通用型分布式爬虫调度系统-CN201510183709.4有效
发明人：吴骏;王涛;刘勇;陈嘉伟;吴和生;谢俊元 -专利权人：南京大学
申请日： 2015-04-17 - 公布日： 2018-04-06 - 主分类号： G06F17/30 文献下载
摘要：一种通用型分布式爬虫调度系统，包括控制器和爬虫器，控制器包含显示模块和调度模块，其中显示模块用于查看各种任务进展信息、日志以及触发对爬虫器的控制，调度模块包含通信区、维持区、数据保持区、数据缓存区；爬虫器包含爬取模块和调度模块，其中爬取模块实现具体的爬虫功能；调度模块包含通信区、维持区、数据保持区、数据缓存区；调度模块中的通信区之间采用Socket长连接异步通信方式完成互联；针对大数据时代获取数据效率低，存在丢失等问题，提出普适型、通用型的分布式爬虫系统框架，在保证爬取过程高速、有效、准确的同时兼容多样化的爬取策略。
一种通用型分布式爬虫调度系统

[发明专利]数据爬取方法及装置-CN201610096587.X在审
发明人：李可欣 -专利权人：北京国双科技有限公司
申请日： 2016-02-22 - 公布日： 2017-08-29 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种数据爬取方法及装置，涉及数据处理技术领域，解决了现有的数据爬取方法爬取数据重复率较高的问题。本发明的主要技术方案为接收爬虫程序发送的页面爬取请求信息，所述页面爬取请求信息中包括列表页链接；判断缓存队列中是否存在所述列表页链接，所述缓存队列中存储有爬虫程序已经爬取过的列表页链接；若所述缓存队列中不存在所述列表页链接，则向所述爬虫程序发送所述页面爬取请求的确认信息，以使得所述爬虫程序对所述列表页链接对应的页面进行爬取。本发明主要用于爬取网页数据。
数据方法装置