“爬取器”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果9056705个，建议您升级VIP下载更多相关专利

[发明专利]一种分布式爬虫方法、电子设备及服务器-CN201711405566.2有效
发明人：李栋 -专利权人：联想（北京）有限公司
申请日： 2017-12-22 - 公布日： 2022-04-22 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种分布式爬虫方法、电子设备及服务器，该方法包括：在访问浏览页面时，触发访问所述浏览页面中配置的爬取页面地址所对应的爬取页面；获取所述爬取页面的目标数据；将所述目标数据上传至服务端。本发明的分布式爬取数据的方法，能够通过让大量普通用户在正常访问某一普通网站页面的方式来实现对另一个网站页面数据的抓取，利用每一个普通用户均使用独立且不同的IP的特点，有效避免了反爬虫策略对爬取数据行为的拦截，且爬取更加高效，便捷。
一种分布式爬虫方法电子设备服务器

[发明专利]地图数据获取方法、计算机可读存储介质及终端设备-CN201811340202.5在审
发明人：吴壮伟 -专利权人：平安科技（深圳）有限公司
申请日： 2018-11-12 - 公布日： 2019-04-23 - 主分类号： G06F16/29 文献下载
摘要：本发明提供了一种地图数据获取方法、计算机可读存储介质及终端设备，包括：获取目标区域的边界；根据目标区域的边界，确定网络爬虫的爬取区域，爬取区域为多条线段构成的闭合区域，爬取区域包含目标区域；针对多条线段中的任一线段所对应的直线，确定直线在第三方地图所对应的地图坐标系中的线性函数；根据多条线段所对应的线性函数，建立网络爬虫爬取第三方地图的地图数据的边界约束条件；调用第三方地图的接口，并根据边界约束条件，通过网络爬虫爬取第三方地图的地图数据通过网络爬虫爬取最新的地图数据，提高了获取地图数据的实时性，且通过确定网络爬虫爬取区域的边界，避免了爬虫爬取大量的无效数据，降低了服务器的计算量。
网络爬虫地图数据第三方线段计算机可读存储介质边界约束条件地图数据获取目标区域线性函数终端设备地图坐标系爬虫闭合区域获取目标无效数据计算量实时性调用服务器

[发明专利]一种网站数据的爬取方法、装置、电子设备及存储介质-CN201911000083.3在审
发明人：何海生;张龙 -专利权人：软通动力信息技术有限公司
申请日： 2019-10-21 - 公布日： 2020-01-31 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例公开了一种网站数据的爬取方法、装置、电子设备及存储介质。其中，该方法应用于终端集群中任一节点终端，包括：接收终端集群中主控终端发送的数据爬取指令，根据数据爬取指令启动数据爬取程序；通过数据爬取程序，循环从任务队列中读取处于未处理状态的爬取任务，根据当前读取的爬取任务爬取相应网站的页面数据，直至任务队列中处于未处理状态的爬取任务为空。通过构建包括终端集群和任务队列的爬取架构，实现了终端集群中被主控终端选中的至少一个节点终端，可循环从任务队列中读取处于未处理状态的爬取任务，从而实现了高效便捷的网站数据爬取。
任务队列读取终端集群未处理节点终端网站数据主控终端取指令存储介质电子设备接收终端启动数据页面数据可循环构建集群网站架构发送

[发明专利]一种深层网页爬取方法、装置和脆弱性扫描系统-CN202111143417.X在审
发明人：王彪 -专利权人：北京天融信网络安全技术有限公司;北京天融信科技有限公司;北京天融信软件有限公司
申请日： 2021-09-28 - 公布日： 2021-12-31 - 主分类号： G06F16/951 文献下载
摘要：本申请实施例提供一种深层网页爬取方法、装置及脆弱性扫描系统，涉及数据爬取技术领域。该方法包括接收客户端发送的深层网页网站访问请求；将所述网站访问请求发送至对应的深层网页网站服务器；接收所述深层网页网站服务器返回的网页数据并进行保存，且将所述网页数据发送至客户端，客户端访问深层网页时都会经过代理服务器，从而解决深层网页的难以爬取且爬取不全面的问题。
一种深层网页方法装置脆弱扫描系统

[发明专利]一种网络数据爬取方法和装置-CN201611243880.0有效
发明人：孙建通;李智;徐辉 -专利权人：北京天元创新科技有限公司
申请日： 2016-12-29 - 公布日： 2019-11-22 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例提供了一种网络数据爬取方法和装置，所述方法包括：通过网页测试工具打开浏览器，并打开待爬取数据的网站；根据预先设置的目标数据网页结构，通过所述网页测试工具模拟用户浏览所述网站，获取所述网站上目标数据标签对应的所有网页的页面信息本发明实施例通过控制浏览器对待爬取数据的网站进行浏览，并采用网页测试工具即selenium模拟用户浏览网站，可以很好的避免因网站反爬机制造成数据爬取失败的问题，提高了网络数据爬取的成功率。
一种网络数据方法装置

[发明专利]内容爬取方法与装置以及分布式爬虫系统-CN201810549416.7在审
发明人：支海邦;李猛;喻海林 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2018-05-31 - 公布日： 2019-12-31 - 主分类号： G06F16/954 文献下载
摘要：本公开提供一种内容爬取方法与装置。内容爬取方法包括：根据多个待爬取网站的地址创建多个爬取进程；在所述爬取进程的爬取结果是网络地址时，根据所述网络地址的地址种类将所述网络地址写入与所述地址种类对应的多个地址队列之一根据所述地址队列创建与所述地址种类对应的爬取进程，重复上一步，直至所述爬取结果是预设内容。本公开提供的内容爬取方法可以均衡负载压力，降低爬取范围扩展难度。
网络地址地址队列范围扩展负载压力预设内容进程网站创建写入均衡重复

[发明专利]一种数据爬取过程的监测方法及系统-CN202011341787.X在审
发明人：杨一未;方硕;易锦;赵嘉伟 -专利权人：中国信息安全测评中心
申请日： 2020-11-25 - 公布日： 2021-03-09 - 主分类号： G06F16/951 文献下载
摘要：本申请提供了一种数据爬取过程的监测方法及系统，该方法通过结合检测数据爬取功能是否出现异常和检测爬虫程序的运行状态，确定数据爬取功能出现异常的原因，能提高确定数据爬取功能出现异常的原因的准确性，进而可以根据数据爬取功能出现异常的原因对数据爬取进行干预，提高数据爬取的可靠性。并且，在爬虫程序的运行状态为正常状态时，通过向被爬取对象发送探测报文，探测被爬取对象的网络状态、网站架构调整状态或防爬策略启动状态，得到探测结果，根据所述探测结果，确定数据爬取功能出现异常的原因，实现从爬虫程序自身之外的角度确定数据爬取功能出现异常的原因，提高数据爬取功能出现异常的原因的全面性，进一步提高数据爬取的可靠性。
一种数据过程监测方法系统

[发明专利]一种实现网络爬虫任务的方法-CN201210360608.6无效
发明人：金博 -专利权人：金博
申请日： 2012-09-25 - 公布日： 2013-03-27 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种实现网络爬虫任务的方法，1.初始给所述客户端待爬网页的链接地址；2.客户端将待爬网页的链接地址封装成任务请求发送到服务器；3.服务器向待爬取页面发送HTTP请求，并把请求到的多信息返回客户端；4.客户端接收信息，并对信息进行处理：5.重复上述过程，依次完成待爬列表中的网页爬取。本发明为爬取不同的网站内容提供了一个通用的网络爬虫框架，通过使用本方法可以快速完成编写用于爬取某个特定网站的爬虫。这种方法极大降低了开发人员的开发难度，缩短了开发周期。由于这种方法是建立在分布式网络爬虫框架的基础之上，因此爬取网站的速度也可以得到保证。本发明方法可用于医疗信息系统。
一种实现网络爬虫任务方法

[发明专利]时间间隔的调整方法和装置-CN201611148705.3有效
发明人：李鹤 -专利权人：北京国双科技有限公司
申请日： 2016-12-13 - 公布日： 2021-09-07 - 主分类号： G06F16/953 文献下载
摘要：其中，该方法包括：提取目标网站在预设周期内的历史爬取记录；根据历史爬取记录和目标网站的当前爬取时间间隔通过预设算法进行计算，得到调整后的爬取时间间隔；依据调整后的爬取时间间隔替换目标网站的当前爬取时间间隔本发明解决了由于无法依据爬取目标对象的数量灵活调节爬取间隔且修改配置只能人工手动修改，导致爬取时间间隔的修改效率和精度低的技术问题。
时间间隔调整方法装置

[发明专利]分布式数据爬取系统、方法、装置、设备和存储介质-CN201910717429.5在审
发明人：肖淋峰;吴志坚 -专利权人：深圳乐信软件技术有限公司
申请日： 2019-08-05 - 公布日： 2019-11-12 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例公开了一种分布式数据爬取系统、方法、装置、设备和存储介质。本发明实施例提供的系统包括任务队列集群和数据爬取集群，其中，任务队列集群包括至少一台终端，所述任务队列集群中设置有起始任务队列和中间任务队列，所述起始任务队列和中间任务队列分布用于保存起始爬取地址和中间爬取地址，数据爬取集群包括至少一台终端，用于访问所述任务队列集群以获取起始爬取地址和中间爬取地址，并根据所述起始爬取地址和所述中间爬取地址爬取目标网页。本发明实施例提供的系统，通过在任务队列集群中分别设置起始任务队列和中间任务队列，便于数据爬取过程中任务量的更改，降低了资源调度困难程度，提高了数据爬取效率。
任务队列集群分布式数据存储介质爬取系统终端目标网页资源调度任务量保存访问

[发明专利]一种数据爬取的方法及系统-CN202210942646.6在审
发明人：谷森;张元飞 -专利权人：上海中通吉网络技术有限公司
申请日： 2022-08-08 - 公布日： 2022-11-15 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及一种数据爬取的方法，包括：配置数据爬取参数；获取数据爬取参数；根据数据爬取参数中的URL地址，查询URL地址对应的数据爬取权限；若存在URL地址具有数据爬取权限，则从具有数据爬取权限的URL地址上爬取数据，获得初始数据；若初始数据与爬取数据的提取方式匹配，则将初始数据存入数据库；对存入数据库的初始数据进行分类汇总，形成汇总表数据，并保存到数据库；将汇总表数据按照选择的模板导出。当需要爬取多个URL上的数据时，只需配置一次数据爬取参数，简化了配置流程；当需要导出数据时，可以在多个模板中选择用户所需模板，从而导出用户所需格式的数据；解决了现有数据爬取工具配置繁琐且导出数据格式单一的问题
一种数据方法系统

[发明专利]数据的爬取方法及装置-CN201811277896.2有效
发明人：陆生辉 -专利权人：北京国双科技有限公司
申请日： 2018-10-30 - 公布日： 2023-05-12 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种数据的爬取方法及装置，涉及爬虫技术领域，提高了数据爬取客户端爬取WebView界面中的数据内容的成功率。本发明的方法包括：当数据爬取模块获取到目标WebView对象时，创建目标WebView对象对应的动态代理，其中，数据爬取模块为在Xposed框架下创建的Xposed模块；将动态代理作为参数添加至预设脚本函数中，其中，预设脚本函数为数据爬取模块对应的执行脚本中的函数，执行脚本用于爬取目标WebView对象对应的数据内容；数据爬取模块通过调用预设脚本函数，指示执行脚本爬取目标WebView对象对应的数据内容；通过动态代理获取执行脚本爬取的数据内容本发明适用于数据爬取客户端爬取WebView界面中的数据内容的过程中。
数据方法装置

[发明专利]网页爬取方法及装置-CN201811145540.3有效
发明人：何熠皓 -专利权人：北京国双科技有限公司
申请日： 2018-09-29 - 公布日： 2023-05-12 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网页爬取方法及装置，涉及爬取技术领域。本发明主要解决了现有技术中无法基于预先创建的爬取架构形成一个新的爬取架构对网页进行爬取的问题。本发明的方法包括：获取目标网页的域名，并确定与所述域名相匹配的规则；判断预先创建的第一爬取构架中是否包含与所述域名相匹配的至少部分规则；若所述第一爬取构架中包含与所述域名相匹配的至少部分规则，则从所述第一爬取构架中继承所述至少部分规则；根据所述至少部分规则，创建第二爬取架构，通过所述第二爬取构架对所述目标网页进行爬取。本发明可广泛应用于爬取网页的场景中。
网页方法装置

[发明专利]网页数据的爬取方法及装置-CN201811161352.X有效
发明人：满悦 -专利权人：北京国双科技有限公司
申请日： 2018-09-30 - 公布日： 2023-05-12 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种网页数据的爬取方法及装置，涉及爬虫技术领域，主要目的在于解决现有的爬取的网页数据中存在大量冗余，影响爬取数据的准确性的问题。本发明的方法包括：接收到爬取指令时，确定待爬取网页元素及所述待爬取网页元素对应的元素标签；根据所述元素标签从已爬取的网页内容数据中获取第一内容数据，所述元素标签中存储有已爬取网页元素与已爬取网页内容数据的对应关系；判断所述第一内容数据与第二内容数据是否一致，所述第二内容数据为待爬取网页元素对应的网页数据；若不一致，则爬取所述第二内容数据。本发明适用于爬取网页中的数据。
网页数据方法装置

[发明专利]网络图片的爬取方法及应用服务器-CN201710868857.9在审
发明人：蔡俊 -专利权人：平安科技（深圳）有限公司
申请日： 2017-09-22 - 公布日： 2018-04-03 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种网络图片的爬取方法，所述方法包括获取目标网页的URL；爬取所述目标网页上预定数量的图片；获取所述图片信息；根据所述图片信息创建文件夹并选取所述图片；及将具有相同所述图片信息的图片存储至同一个所述文件夹本发明还提供一种应用服务器。本发明提供的应用服务器及网络图片的爬取方法，在进行网页图片爬取的过程中，不仅可以快速的爬取到相应的目标图片，还可以根据预设策略获取对爬取到的图片进行自动的分类存储，实现了资源快速检索及分类整理的效果。
网络图片方法应用服务器