“爬取器”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果9056705个，建议您升级VIP下载更多相关专利

[发明专利]一种数据爬取方法及装置-CN201811157671.3在审
发明人：陆生辉 -专利权人：北京国双科技有限公司
申请日： 2018-09-30 - 公布日： 2020-04-07 - 主分类号： G06F8/30 文献下载
摘要：本发明公开了一种数据爬取方法及装置，涉及爬虫技术领域，利用在Xposed框架下编写通用的Xposed模块来优化爬取应用程序的数据信息的方法，增强Xposed模块的通用性，节约开发成本，同时轻量化Xposed模块，也有助于提高Xposed模块处理性能，本发明的主要技术方案为：守护进程获取数据爬取任务；所述守护进程将所述数据爬取任务下发至数据爬取模块，以使所述数据爬取模块从应用程序中爬取数据信息；所述守护进程接收所述数据爬取模块根据所述数据爬取任务从所述应用程序中爬取的数据信息本发明应用于爬取应用程序上的数据信息。
一种数据方法装置

[发明专利]一种爬虫翻页策略的检测方法及装置-CN201811142844.4有效
发明人：张野 -专利权人：北京国双科技有限公司
申请日： 2018-09-28 - 公布日： 2023-04-07 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种爬虫翻页策略的检测方法及装置，其中，方法包括：获取网站的目标网页数、预设爬取网页数以及实际爬取网页数；所述目标网页数为包含目标信息的网页数；所述预设爬取网页数为爬虫能够爬取网页数的上限值；所述实际爬取网页数为爬虫实际爬取的网页数；依据所述目标网页数、所述预设爬取网页数以及所述实际爬取网页数，检测所述爬虫翻页策略是否正常。通过本申请实施例，使得依据网站的目标网页数、预设爬取网页数以及实际爬取网页数可以检测当前爬虫的翻页策略是否正常。
一种爬虫翻页策略检测方法装置

[发明专利]一种通用的网络爬虫模型实现方法及系统-CN201710846672.8在审
发明人：韩吉威 -专利权人：湖北省楚天云有限公司
申请日： 2017-09-15 - 公布日： 2017-11-24 - 主分类号： G06F17/30 文献下载
摘要：本申请公开了一种通用的网络爬虫模型实现方法及系统；其中的方法主要包括获取待处理的爬虫爬取任务；以统一资源定位符URL为爬取任务执行粒度将所述爬虫爬取任务转化为多个爬虫爬取任务对象；由针对所述多个爬虫爬取任务对象而动态创建的至少一个网络爬虫实例针对所述多个爬虫爬取任务对象执行网络数据爬取操作；针对各网络爬虫实例爬取到的对应同一爬虫爬取任务的网络数据进行整理后，存储于数据集合中。
一种通用网络爬虫模型实现方法系统

[发明专利]数据爬取方法及装置、存储介质及电子设备-CN202111333310.1在审
发明人：陈程 -专利权人：北京搜房科技发展有限公司
申请日： 2021-11-11 - 公布日： 2022-01-14 - 主分类号： G06F16/951 文献下载
摘要：本发明提供一种数据爬取方法及装置、存储介质及电子设备，该方法包括：当接收到用户发送的任务创建指令时，向用户展示任务创建页面；获取用户在任务创建页面中输入的包含站点信息的任务创建信息，并根据任务创建信息生成爬取任务；基于用户提供的采集配置数据、解析配置数据定义爬取任务；对爬取任务进行处理，以便基于采集配置数据和解析配置数据从与站点信息对应的网站中爬取数据。基于用户输入的任务创建信息生成爬取任务，并基于采集配置数据以及解析配置数据，定义爬取任务，通过对爬取任务进行处理，实现需求网站的数据爬取，该过程无需开发网络爬虫程序即可爬取数据，节省了技术排期时间，降低了爬取数据的技术壁垒，提高爬取任务的效率。
数据方法装置存储介质电子设备

[发明专利]爬取应用程序数据的方法、装置、电子设备及存储介质-CN202210694437.4在审
发明人：朱雨朦 -专利权人：云账户技术（天津）有限公司
申请日： 2022-06-20 - 公布日： 2022-07-22 - 主分类号： G06F16/951 文献下载
摘要：本发明提供一种爬取应用程序数据的方法、装置、电子设备及存储介质，其中方法包括：接收到用户通过交互端发送的对目标应用程序的数据爬取任务，对目标应用程序是否安装完成进行第一检验；若所述第一检验的检测结果为所述目标应用程序安装完成，确定爬取数据的起始位置；根据所述爬取数据的起始位置，执行本次的所述数据爬取任务，以爬取目标数据并将所述目标数据发送至所述交互端；根据本次的所述数据爬取任务，生成爬取记录，将所述爬取记录存储至数据库；本发明具备高通用性、高可移植性以及爬取效率高。
应用程序数据方法装置电子设备存储介质

[发明专利]一种人工智能信息处理系统、方法及可读存储介质-CN202011186199.3在审
发明人：乌斯曼·可·尼亚齐 -专利权人：广州市西美信息科技有限公司
申请日： 2020-10-29 - 公布日： 2021-01-08 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种人工智能信息处理系统、方法及可读存储介质，包括：对用户进行信息爬取时所得到的爬取信息进行类别划分与信息增强并上传至云端；获取云端针对信息增强后的爬取信息所创建的初始信息爬取模型，通过迭代法对各自的初始信息爬取模型进行训练，并将训练后的初始信息爬取模型发送至云端；云端通过融合算法对各中间件训练后的初始信息爬取模型进行融合得到目标信息爬取模型，并将该目标信息爬取模型下发至用户端进行互联网信息的爬取。本发明能够对当前海量的、无规则的数据进行准确爬取与分析，减少达到指定信息爬取精度所需的网络开销，满足了实际应用需求。
一种人工智能信息处理系统方法可读存储介质

[发明专利]一种高效网络爬取方法及装置-CN202210061069.X在审
发明人：付圣峰;楚立鹏;成霄;范强;孙慧;刘俊荣;王亮亮;张仁群;张博;王永皎;尤晓艳 -专利权人：中国电子科技集团公司电子科学研究院;青岛智汇泰鼎科技开发有限公司
申请日： 2022-01-19 - 公布日： 2022-05-06 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种高效网络爬取方法及装置，本发明基于预设关键词和初检的种子URL来设置分布式爬虫框架，通过该分布式爬虫框架来对排名后的种子URL排名进行数据爬取，然后在对所爬取的URL重新进行URL排名，再基于该新URL排名再次进行数据爬取，重复执行这一步骤，直到重复执行爬取数据的次数达到预设的数据爬取次数阈值时候结束数据爬取，最后将所爬取到的所有URL中与预设关键词的匹配度超过预设匹配度阈值的URL作为最终爬取结果也即本发明是不断对所爬取到的URL进行排名，然后按照排名来进行数据爬取，从而实现高效地对快速扩张的网络资源规模进行有效爬取。
一种高效网络方法装置

[发明专利]一种分布式网络爬虫的信息爬取方法、服务器及存储介质-CN201711478979.3在审
发明人：徐松柏 -专利权人：广州TCL智能家居科技有限公司
申请日： 2017-12-29 - 公布日： 2019-02-19 - 主分类号： G06F16/951 文献下载
摘要：本发明提供了一种分布式网络爬虫的信息爬取方法、服务器及存储介质，通过利用获取到的多个IP同时进行网络URL爬取，并将爬取到的URL编码为key值存储到redis集群中；多个爬虫客户端同时从所述redis本发明所提供的信息爬取方法使用多台设备利用多个IP进行协作，同时对Internet上的所有URL进行爬取，实现更好，更快的，更准确的从海量的网络资源中获取到有用的信息。
爬虫分布式网络存储介质集群服务器多台设备方法使用目标信息网络资源客户端解析存储协作网络

[发明专利]页面数据测试方法、装置、计算机设备和存储介质-CN201910188972.0有效
发明人：张起 -专利权人：深圳壹账通智能科技有限公司
申请日： 2019-03-13 - 公布日： 2023-03-10 - 主分类号： G06F11/36 文献下载
摘要：所述方法包括：异步获取被测终端对应各业务流程节点发送的数据爬取请求；提取所述数据爬取请求中的业务流程节点标识；获取与所述业务流程节点标识对应的测试配置文件；根据所述测试配置文件生成所述业务流程节点标识对应的模拟爬取数据；将生成的各业务流程节点标识对应的模拟爬取数据异步发送至被测终端；在所述被测终端根据异步接收到的模拟爬取数据进行页面更新后，记录所述被测终端的页面更新状态，得到页面测试报告。采用本方法能够节省通过服务器爬取数据所耗费的时间，从而提高页面测试效率。
页面数据测试方法装置计算机设备存储介质

[发明专利]基于网络爬虫的漏洞扫描方法、装置、设备和存储介质-CN202011396260.7在审
发明人：刘伟雄;李泳权 -专利权人：广州万方计算机科技有限公司
申请日： 2020-12-03 - 公布日： 2021-03-16 - 主分类号： G06F21/57 文献下载
摘要：该方法包括：根据预设的待爬取列表获取对应的待爬取网页以及所述待爬取网页的有效URL；对所述有效URL进行排序过滤，并更新当前爬虫深度；将含有预设关键字的有效URL转换为标准URL；在预设的爬取集合对所述标准URL进行查重，根据查重的结果对所述爬取集合进行更新；当所述待爬取列表为空或爬虫深度超过预设的深度极限值，终止爬虫扫描。通过宽度优先可以尽可能多地覆盖网页，同时通过深度极限值控制爬虫对一条路径的爬取过于深入，实现了爬取深度和爬取宽度的较好平衡，在提高爬取速度的同时保证合适的爬取宽度。
基于网络爬虫漏洞扫描方法装置设备存储介质

[发明专利]网页爬取方法和装置-CN201611042702.1在审
发明人：李可欣 -专利权人：北京国双科技有限公司
申请日： 2016-11-23 - 公布日： 2018-05-29 - 主分类号： G06F17/30 文献下载
摘要：本申请公开了一种网页爬取方法和装置。其中，该方法包括：从爬取任务中查找目标登录验证信息，其中，爬取任务为网络爬虫爬取目标网页的页面内容的任务，目标登录验证信息用于表示爬虫具有爬取页面内容的权限；判断是否从爬取任务中查找到了目标登录验证信息；如果判断出没有从爬取任务中查找到目标登录验证信息，则根据预配置文件查找目标登录验证信息，其中，预配置文件中包含多个网页的登录验证信息；根据查找到的目标登录验证信息爬取目标网页中的页面内容。本申请解决了现有技术中爬虫在执行爬取任务时由于目标登录验证信息失效导致爬取任务失败的技术问题。
目标登录验证信息页面内容方法和装置爬虫登录验证目标网页网页配置文件查找查找目标配置文件网络爬虫申请查找权限失败

[发明专利]分布式数据爬取系统、方法和存储介质-CN201910717426.1在审
发明人：肖淋峰;吴志坚 -专利权人：深圳乐信软件技术有限公司
申请日： 2019-08-05 - 公布日： 2019-11-15 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种分布式数据爬取系统、方法和存储介质。本发明提供的系统包括：主节点和至少一个从节点；所述主节点用于管理各所述从节点，并将接收到的爬取任务发送给各所述从节点；各所述从节点中包括爬虫框架，所述从节点用于在所述爬虫框架下根据接收的爬取任务爬取数据本发明实施例的技术方案，通过主节点获取爬取任务并将爬取任务分配至从节点，从节点根据爬取任务进行数据爬取，实现了数据爬取请求的及时响应，减少了由于系统唤醒的时间延迟，避免了分布式爬取系统因为空转导致的性能浪费
主节点爬虫爬取系统空转分布式数据存储介质能源消耗任务分配系统唤醒响应管理

[发明专利]网页内容获取方法、装置和电子设备-CN202211700529.5在审
发明人：张浩然;单酉;朱泽;孙利晓 -专利权人：北京航天云路有限公司
申请日： 2022-12-28 - 公布日： 2023-05-09 - 主分类号： G06F16/951 文献下载
摘要：该方法包括：判断各子线程对应的各待爬取队列是否为空；当所述待爬取队列不为空时，运行爬取进程，在所述待爬取队列中爬取目标URL，以获取所述目标URL对应的网页；获取爬取所述目标URL后的响应信息；当所述响应信息为响应成功信息时该方法采用多线程的方式进行网页数据的获取，爬取速度快效率高，并且将爬取失败的目标URL重新加入到待爬取队列中，提高了网页数据爬取的稳定性。
网页内容获取方法装置电子设备

[发明专利]一种爬取网络数据的方法和装置-CN201510080944.9有效
发明人：刘杰 -专利权人：腾讯科技（深圳）有限公司
申请日： 2015-02-13 - 公布日： 2018-11-23 - 主分类号： H04L29/12 文献下载
摘要：本发明公开了一种爬取网络数据的方法和装置，属于互联网技术领域。所述方法包括：按照预设的轮询顺序，在预先存储的域名队列中逐个选取待爬取的域名；在每次选取待爬取的域名后，如果选取的域名上一次被爬取的时间与当前时间的时间间隔超过预设的时间间隔阈值，则在所述选取的域名对应的网址队列中抽取待爬取的网址，对所述待爬取的网址进行网络数据爬取，如果选取的域名上一次被爬取的时间与当前时间的时间间隔未超过预设的时间间隔阈值，则选取下一个待爬取的域名。采用本发明，可以提高爬取网络数据的效率。
一种网络数据方法装置

[发明专利]一种网站数据爬取方法及装置-CN201611249114.5有效
发明人：汤人杰;严昱超;周勋;张式勤;郭岳;于祥兵 -专利权人：中国移动通信集团浙江有限公司;中国移动通信集团公司
申请日： 2016-12-29 - 公布日： 2021-06-01 - 主分类号： G06F16/951 文献下载
摘要：本发明提供了一种网站数据爬取方法及装置。该方法包括：将待爬取的网站数据进行标准化处理，待爬取的网站数据包括多个统一资源定位符URL，获取各个统一资源定位符URL的正则表达式；根据各个统一资源定位符URL的正则表达式获取各个统一资源定位符URL的权重值，获取待爬取的统一资源定位符URL的正则表达式权重关系表；根据正则表达式权重关系表获取目标待爬取的网站数据，对目标待爬取的网站数据进行爬取。本发明降低了待爬取的统一资源定位符URL的数量，提高了爬取效率，同时提高了爬取的准确性。
一种网站数据方法装置