“任务抓取”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果262999个，建议您升级VIP下载更多相关专利

[发明专利]一种图片抓取方法和服务器-CN201510965284.2在审
发明人：杨涛;吕本伟 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2015-12-21 - 公布日： 2017-06-27 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种图片抓取方法和服务器，该方法包括多个任务处理器接收图片请求消息，并生成相应的图片抓取任务；任务调度器取出图片抓取任务，根据各任务处理器的负载状态分发给多个任务处理器；各任务处理器根据该图片抓取任务中的待抓取图片的标识信息判断该图片抓取任务是否为已完成任务，是则，从历史已抓取图片中获取该图片抓取任务对应的图片，否则，根据该图片抓取任务中的待抓取图片的地址信息抓取该图片抓取任务对应的图片。本方案通过在将图片抓取任务分发给任务处理器之前对任务处理器的状态判断，以及，通过在进行图片抓取之前对图片抓取任务的状态判断，充分利用了系统资源，实现了任务处理器之间的负载均衡和任务处理方式的灵活可变。
一种图片抓取方法服务器

[发明专利]网页抓取方法及装置-CN201510093164.8有效
发明人：王林青 -专利权人：阿里巴巴集团控股有限公司
申请日： 2015-03-02 - 公布日： 2019-09-06 - 主分类号： G06F16/951 文献下载
摘要：本申请公开一种网页抓取方法，包括：确定不同任务类型的可以执行的网页抓取任务；分别为不同任务类型的可以执行的网页抓取任务分配抓取资源；利用分配的抓取资源，执行所述可以执行的网页抓取任务。该方法通过给不同任务类型的网页抓取任务分配抓取资源，使得不同任务类型的网页抓取任务能够同时执行，克服了现有技术中存在的网页抓取效率的普遍偏低的问题。本申请还公开一种网页抓取装置。
网页抓取方法装置

[发明专利]分布式网络爬虫抓取任务调度方法、调度端设备及抓取节点-CN201310491887.4有效
发明人：周东 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2013-10-18 - 公布日： 2014-02-05 - 主分类号： G06F17/30 文献下载
摘要：本发明公开分布式网络爬虫抓取任务调度方法、调度端设备及抓取节点，调度方法包括：抓取任务发送步骤，为多个抓取网络信息的抓取节点生成至少一个包括至少一个种子的抓取任务，向每个抓取节点发送对应的抓取任务；抓取任务修正步骤，接收到多个抓取节点发送的快照数据，根据多个所述抓取节点的快照数据确定发送到每个抓取节点的抓取任务数量，以及每个抓取任务所包括的每个目标网站的种子的数量，执行抓取任务发送步骤。本发明由于快照数据描述了抓取节点对抓取任务的执行情况，因此调度端能够清楚知道每个抓取节点的抓取任务的执行情况，从而能够选择一个最优的分配方案。从而大大提供抓取节点的资源利用率。
分布式网络爬虫抓取任务调度方法设备节点

[发明专利]一种文章实时智能抓取系统和方法-CN201110455139.1有效
发明人：吴华鹏;曾明;厉锟;陈大伟 -专利权人：凤凰在线(北京)信息技术有限公司
申请日： 2011-12-31 - 公布日： 2012-04-04 - 主分类号： G06F17/30 文献下载
摘要：一种文章实时智能抓取系统，包括实时抓取模块、网页抽取系统、文档近似排重模块、文档自动分类模块和文章发布模块。所述实时抓取模块还包括线上运行的7个模块：任务提取模块、任务解析模块、任务抓取时间范围检验模块、任务抓取时间间隔检验模块、任务调度模块、任务下载模块、任务抓取频率调整模块；还包括线下运行的3个模块：任务抓取时间范围发现模块、任务抓取时间间隔发现模块、免费代理收集和验证模块。
一种文章实时智能抓取系统方法

[发明专利]一种分布式垂直爬虫方法及终端设备-CN201810547735.4在审
发明人：张中月;姜仕鹏;孙岳;倪安 -专利权人：深圳市酷达通讯有限公司
申请日： 2018-05-31 - 公布日： 2018-11-23 - 主分类号： G06F17/30 文献下载
摘要：本发明适用于信息检索技术领域，提供了一种分布式垂直爬虫方法及终端设备，包括：中控平台将抓取任务发送至任务分发平台；任务分发平台根据抓取任务的任务类型、数据抓取平台的终端类型、数据抓取平台的网络类型和数据抓取平台的爬取能力中的至少一种，确定抓取任务的分发策略，并根据分发策略，将抓取任务分发至数据抓取平台；数据抓取平台根据抓取任务进行数据抓取，并将抓取结果发送至数据分析平台；数据分析平台根据抓取结果，加载预设置的数据萃取策略，判断是否有新的抓取任务，若有，将新的抓取业务通过任务分发平台分发至数据抓取平台，若无，将抓取结果发送至中控平台。该方法解决了数据量巨大时爬虫端抓取效率较低的问题。
抓取数据抓取任务分发爬虫数据分析平台分发策略结果发送终端设备垂直信息检索技术任务发送任务类型网络类型业务通过终端类型数据量预设置加载萃取分发

[发明专利]一种分布式爬虫系统任务抓取系统和方法-CN201510564985.5在审
发明人：张国强 -专利权人：摩贝（上海）生物科技有限公司
申请日： 2015-09-08 - 公布日： 2017-03-15 - 主分类号： G06F17/30 文献下载
摘要：本发明包括爬虫控制端、爬虫抓取端、任务监控模块，爬虫抓取端获取相应的任务，将任务数据传送给爬虫控制端；爬虫控制端定义任务编号和任务超时时间，并产生任务分发事件，存储任务分发的时间戳数据；将任务分发给任务监控模块和爬虫抓取端，爬虫抓取端对抓取任务执行相应的抓取逻辑，将任务完成信息传送给爬虫控制端，若发生异常情况，导致抓取任务无法正确的被执行时，可以通过任务监控模块重新将任务推送给爬虫控制端，避免了由于网络原因、任务无法执行的情况
一种分布式爬虫系统任务抓取方法

[发明专利]人手或假手抓取能力评估系统和评估方法-CN201510828411.4有效
发明人：姜力;刘源;杨大鹏;樊绍巍;黄琦;曾博;刘宏 -专利权人：哈尔滨工业大学
申请日： 2015-11-24 - 公布日： 2018-06-22 - 主分类号： A61B5/11 文献下载
摘要：人手或假手抓取能力评估系统和评估方法，涉及一种包含手腕的人手或假手抓取能力评估方法。解决了现有的人手或假手评估方法并不能实现手和手腕的协同抓取的容差性的评估的问题，本发明的前臂位置固定装置临近相对位置坐标纸设置，任务范式存储模块，用于存储抓取任务的范式；抓取任务调取模块随机调取任务范式存储模块内存储的抓取任务范式，抓取时间计时模块接收抓取任务开始按钮发送的计时开始信号，对执行抓取任务的时间进行计时，抓取能力评估模块接收抓取时间计时模块发送的任务抓取过程计时信号，并根据抓取时间计时模块发送的任务抓取过程计时信号，对人手或假手的抓取能力进行评估。本发明适用于对人手或假手抓取能力进行评估。
抓取假手人手时间计时模块评估能力评估存储模块计时信号任务抓取发送调取手腕存储计时开始信号能力评估模块固定装置开始按钮前臂位置位置坐标容差性计时协同

[发明专利]生产任务单的信息抓取方法、装置、电子设备和存储介质-CN202310300816.5在审
发明人：翟曜 -专利权人：中银金融科技有限公司
申请日： 2023-03-23 - 公布日： 2023-09-29 - 主分类号： G06F16/951 文献下载
摘要：本发明提供一种生产任务单的信息抓取方法、装置、电子设备和存储介质，其中方法包括：确定生产任务单号；确定生产任务单号的任务类型，并基于任务类型确定进行查询所对应的信息抓取系统，其中信息抓取系统至少包括第一信息抓取系统和第二信息抓取系统中的一个；在信息抓取系统中进行登录，并根据任务类型在第一信息抓取系统和/或第二信息抓取系统中进行信息抓取，得到第一抓取结果和第二抓取结果；根据第一抓取结果和/或第二抓取结果进行汇总，得到生产任务单号对应的信息抓取结果提高生产任务单的信息抓取效率和准确性。
生产任务信息抓取方法装置电子设备存储介质

[发明专利]内容抓取任务的调度、处理方法、装置、存储介质和设备-CN201810235800.X在审
发明人：王炼;吕远方;林佳涛;尹光宗 -专利权人：腾讯科技（深圳）有限公司
申请日： 2018-03-21 - 公布日： 2019-10-08 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及一种内容抓取任务的调度、处理方法、装置、存储介质和计算机设备，该内容抓取任务的调度方法包括：获取目标应用所配置的应用内容类别；分别生成各所述应用内容类别对应的内容抓取任务；为各所述内容抓取任务配置相应的任务配置信息；将各所述内容抓取任务分别调度至对应于空闲状态的移动终端标识；下发各所述内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，所述应用内容属于与下发的内容抓取任务对应的应用内容类别。本申请提供的方案提高了应用内容抓取效率。
内容抓取应用内容任务配置信息调度移动终端标识抓取存储介质计算机设备获取目标空闲状态任务配置移动终端配置的申请应用

[发明专利]一种对图片进行抓取处理的方法和服务器-CN201510966857.3在审
发明人：杨涛;吕本伟 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2015-12-21 - 公布日： 2017-06-27 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种对图片进行抓取处理的方法和服务器，该方法包括多个任务处理器接收图片请求消息，并生成相应的图片抓取任务；任务调度器取出图片抓取任务，分发给多个任务处理器；多个任务处理器对图片进行抓取，生成相应的图片处理任务；任务调度器取出图片处理任务，分发给多个任务处理器；多个任务处理器根据分发的图片处理任务对图片进行处理。依据本方案，对图片抓取任务/图片处理任务的重新分发，实现了图片抓取过程及图片处理过程中多个任务处理器之间的负载均衡，充分利用了系统资源，避免了图片抓取任务和/或图片处理任务被分发至需要等待的任务处理器中，提高了抓取图片及处理图片的效率，能够尽快将适配于图片请求消息的图片返回给请求方。
一种图片进行抓取处理方法服务器

[发明专利]一种文章实时智能抓取系统和方法-CN201210008389.5无效
发明人：吴华鹏;曾明;厉锟 -专利权人：凤凰在线(北京)信息技术有限公司
申请日： 2012-01-12 - 公布日： 2012-07-25 - 主分类号： G06F17/30 文献下载
摘要：一种文章实时智能抓取系统，包括实时抓取模块、网页抽取系统、文档近似排重模块、文档自动分类模块和文章发布模块。所述实时抓取模块还包括线上运行的7个模块：任务提取模块、任务解析模块、任务抓取时间范围检验模块、任务抓取时间间隔检验模块、任务调度模块、任务下载模块、任务抓取频率调整模块；还包括线下运行的3个模块：任务抓取时间范围发现模块、任务抓取时间间隔发现模块、免费代理收集和验证模块。
一种文章实时智能抓取系统方法

[发明专利]多平台爬虫调度方法、装置和存储介质-CN201911236647.3在审
发明人：陈伟杰;高继勇 -专利权人：北京创鑫旅程网络技术有限公司
申请日： 2019-12-05 - 公布日： 2020-04-17 - 主分类号： G06F16/951 文献下载
摘要：本发明的方法包括：获取待爬虫任务的配置信息，待爬虫任务的配置信息包括多个数据来源平台的标识、N个数据抓取平台的类型标识、与每个数据来源平台对应的抓取开始时间以及待爬虫任务对应的多个爬虫子任务的相关信息，爬虫子任务的相关信息包括：数据来源平台与数据抓取平台的对应关系以及多条待抓取数据的属性信息，N为大于或等于1的整数；根据待爬虫任务的配置信息和预设的数据抓取分发算法，获得每个爬虫子任务的数据抓取调度信息；根据数据抓取调度信息，抓取数据。在抓取数据时，可以同时对多个数据抓取平台的抓取任务进行管理，提高管理效率。
平台爬虫调度方法装置存储介质

[发明专利]一种数据抓取系统及方法-CN201610139981.7在审
发明人：杨博;宋兵强;张成;白荣东 -专利权人：精硕科技（北京）股份有限公司
申请日： 2016-03-11 - 公布日： 2017-09-19 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种数据抓取系统，包括任务去重模块、任务队列模块、任务调度模块、数据抓取模块、和结果队列模块。本发明还涉及一种数据抓取方法，包括接收各业务线发送的抓取数据任务并去重；将去重后的任务形成任务队列；基于双重轮询算法计算任务优先级，并基于优先级调度任务，发放给爬虫节点；利用爬虫在互联网中抓取数据；和将抓取到的数据返回形成结果队列发回业务线本发明还涉及一种数据抓取的方法。
一种数据抓取系统方法

[发明专利]网络内容异步抓取系统和方法-CN201611053534.6有效
发明人：卢刚;孙鹏宇;覃安 -专利权人：百度在线网络技术（北京）有限公司
申请日： 2016-11-24 - 公布日： 2020-05-22 - 主分类号： G06F16/951 文献下载
摘要：本发明提出一种网络异步抓取系统和方法，该网络异步抓取系统包括任务队列管理器，用于提供至少一个任务队列；调度器，用于从每个任务队列中读取待抓取网络内容的统一资源定位符URL，并根据URL所属任务所在后端的环境类型来触发驱动器对URL进行调度；驱动器，用于被调度器触发之后，读取URL所属任务的任务信息，基于任务信息将URL注入抓取池，并根据任务信息控制URL注入抓取池的频率，任务信息包括每秒查询率和并发值；执行器，用于从抓取池中读取URL，并对URL进行抓取。通过本发明能够在高并发时保障抓取系统的稳定性，有效节省系统资源，提升抓取性能。
网络内容异步抓取系统方法

[发明专利]一种用于多次验证交互的数据抓取方法、装置和电子设备-CN202110450997.0在审
发明人：刘斯吏 -专利权人：上海淇玥信息技术有限公司
申请日： 2021-06-11 - 公布日： 2021-08-20 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及计算机技术领域，具体涉及一种用于多次验证交互的数据抓取方法、装置和电子设备，包括：构建分布式数据抓取网络，所述分布式数据抓取网络包括中心数据调度节点及多个数据抓取子节点；基于用户操作授权实时获取经验证的用户数据抓取任务信息；所述中心数据调度节点根据所述数据抓取子节点反馈的任务负载信息选择确定任务执行子节点，并将所述用户数据抓取任务信息发送至任务消息队列；所述任务执行子节点根据任务消息队列中所述用户数据抓取任务信息利用所述中心数据调度节点实时获取多次验证信息以执行数据抓取任务本发明分布式部署及异步机制，提高了系统并发量及失败转移机制稳定性，降低断线、丢包现象，提高数据抓取的处理效率。
一种用于多次验证交互数据抓取方法装置电子设备

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条