“spark”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1638个，建议您升级VIP下载更多相关专利

[发明专利]一种提交并守护spark任务的方法及装置-CN201911291724.5有效
发明人：付少波;喻波;王志海;董爱华;安鹏 -专利权人：北京明朝万达科技股份有限公司
申请日： 2019-12-16 - 公布日： 2023-06-16 - 主分类号： G06F9/48 文献下载
摘要：本发明提供一种提交并守护spark任务的方法及装置，方法包括：部署及装置Docker集群环境；基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务，传递参数信息给所述Spark监听微服务；所述Spark监听微服务调用SparkLauncher提交所述spark任务，并通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护。根据本发明的方案，解决了当spark集群和提交spark任务的应用程序不在同一台机器上时提交spark任务困难的问题。
一种提交守护 spark 任务方法装置

[发明专利]数据处理方法、装置、电子设备、存储介质及程序产品-CN202110374535.5在审
发明人：不公告发明人 -专利权人：拉卡拉支付股份有限公司
申请日： 2021-04-07 - 公布日： 2021-06-18 - 主分类号： G06F16/2453 文献下载
摘要：本公开实施例公开了一种数据处理方法、装置、电子设备、存储介质及程序产品，所述方法包括：接收Spark SQL语句；解析所述Spark SQL语句，获得所述Spark SQL语句的解析结果；在所述解析结果中包括Spark参数配置信息时，根据所述Spark参数配置信息配置对应的Spark参数；基于配置后的所述Spark参数以及所述解析结果执行所述Spark SQL语句。该技术方案在用户提交Spark SQL语句时可以在不同位置处的Spark SQL语句对应的物理计划可以使用所配置的不同Spark参数，避免了任何阶段都只能使用统一参数而导致Spark SQL执行效率低下的缺陷
数据处理方法装置电子设备存储介质程序产品

[发明专利]一种Spark平台性能自动优化方法-CN201610068611.9有效
发明人：王国路;徐俊刚;刘仁峰 -专利权人：中国科学院大学
申请日： 2016-02-01 - 公布日： 2019-05-21 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种Spark平台性能自动优化方法。本方法为：1)根据Spark平台的执行机制创建一Spark应用性能模型；2)针对一设定的Spark应用，选取该Spark应用的部分数据负载在该Spark平台上运行，采集Spark应用运行时的性能数据；3)将采集的性能数据输入Spark应用性能模型，得到运行该Spark应用时Spark应用性能模型中各参数的取值；4)将步骤3)获得的性能模型各参数值赋给Spark应用性能模型，计算Spark平台在不同配置参数组合时的性能(应用总执行时间)，然后输出Spark平台性能最优时的配置参数组合。
一种 spark 平台性能自动优化方法

[发明专利]一种Spark应用部署管理方法及相关设备-CN202011289228.9在审
发明人：胡潇涵;安靖;刘佳;王毅;宋洋;崔贝贝 -专利权人：中国人寿保险股份有限公司
申请日： 2020-11-17 - 公布日： 2021-03-12 - 主分类号： G06F8/60 文献下载
摘要：本发明公开了一种Spark应用部署管理方法及相关设备。首先，响应前台的上传指令，将通过权限校验的Spark应用上传至Spark提交机并根据其消费配置划分出对应的Spark集群资源；然后响应前台的部署指令，自动拼接产生Spark应用的启动命令，并将其插入到启动任务表中，定时启动程序在读取启动任务表时读取到启动命令的话，资源管理器使所述Spark应用利用Spark集群的资源开始运行。这种Spark应用部署管理方法能够直观明了的实现Spark应用的管理，通过Spark集群前台页面实现Spark应用的上传和部署，并在前台页面展示出Spark集群的运行状态；简化了操作，提升了可用性。
一种 spark 应用部署管理方法相关设备

[发明专利]Spark任务处理方法及装置-CN202010236171.X在审
发明人：何晓政 -专利权人：中国工商银行股份有限公司
申请日： 2020-03-30 - 公布日： 2020-07-03 - 主分类号： G06F9/448 文献下载
摘要：本发明公开了一种Spark任务处理方法及装置，该Spark任务处理方法包括：获取用户提交的Spark任务；根据所述用户的历史Spark任务处理数据确定所述Spark任务对应的任务执行参数；将所述Spark任务发送到预设的SparkSession对象，以使所述SparkSession对象根据所述任务执行参数处理所述Spark任务。本发明提高了Spark任务处理的时效性和处理效率。
spark 任务处理方法装置

[发明专利]一种Spark作业的提交方法及装置-CN201910504561.8在审
发明人：刘有;尹强;王和平;黄山;杨峙岳;邸帅;卢道和 -专利权人：深圳前海微众银行股份有限公司
申请日： 2019-06-12 - 公布日： 2019-09-20 - 主分类号： G06F9/48 文献下载
摘要：本发明涉及金融科技领域，并公开了一种Spark作业的提交方法及装置，其中，方法包括：接收Spark作业的执行请求，根据执行请求，获取Yarn集群的节点黑名单，根据执行请求中Spark作业的作业参数、Yarn集群的节点黑名单，创建Spark引擎，通过Spark引擎将Spark作业发送至Yarn集群。该技术方案通过获取Yarn集群中故障节点，避免将Spark作业提交至故障节点，以实现Spark作业的高效执行。
集群故障节点引擎科技领域作业参数作业发送作业提交创建金融

[发明专利]Spark任务的提交方法、系统、客户端及服务端-CN201911255380.2有效
发明人：周朝卫 -专利权人：中盈优创资讯科技有限公司
申请日： 2019-12-10 - 公布日： 2022-06-03 - 主分类号： H04L67/02 文献下载
摘要：本发明提供一种Spark任务的提交方法、系统、客户端及服务端，其中，应用于系统的任务的提交方法包括：客户端以http方式将Spark任务提交请求通过与服务器连接的Socket路径发出；服务端获取以http方式发来的Spark任务提交请求，根据Spark任务提交请求，创建基于共享统一切入点变量的会话，提交Spark任务至大数据集群的边缘节点；其中，该大数据集群的边缘节点中存在Spark应用，该Spark应用以常驻进程的方式监听预设端口的Spark任务。上述技术方案为基于ServerSocket的Spark任务提交方案，提高了Spark任务提交的效率，实现了Spark任务提交过程的数据共享。
spark 任务提交方法系统客户端服务端

[发明专利]一种参数配置方法和设备-CN201810385919.5有效
发明人：邵明路;王蕊;王衎;宋哲;张雨晴 -专利权人：中移（苏州）软件技术有限公司;中国移动通信集团有限公司
申请日： 2018-04-26 - 公布日： 2021-08-13 - 主分类号： G06F16/215 文献下载
摘要：本发明公开了一种参数配置方法和设备，用以实现处理批量SPARK数据清洗任务时参数配置问题。本发明实施例确定接收到的SPARK数据清洗任务的数据量以及SPARK数据清洗任务对应的SPARK数据清洗程序中包含的至少一个原子操作，根据基准数据和期望执行时间训练出不同原子操作基准参数数值，再根据基准参数数值、SPARK数据清洗任务的数据量以及SPARK数据清洗程序中的至少一个原子操作，确定SPARK数据清洗任务的基本资源配置参数。通过SPARK数据清洗程序中包含的原子操作，训练出不同原子操作的参数配置，再根据组成不同SPARK数据清洗程序的至少一个原子操作的参数配置，确定不同SPARK数据清洗任务的参数配置，因此处理批量SPARK数据清洗任务时，参数可以自动配置，从而提高了SPARK的性能。
一种参数配置方法设备

[发明专利]spark集群的部署方法和装置-CN202310070286.X在审
发明人：范会杨;赵重园 -专利权人：中国联合网络通信集团有限公司;联通数字科技有限公司;联通云数据有限公司
申请日： 2023-01-13 - 公布日： 2023-04-14 - 主分类号： G06F9/455 文献下载
摘要：本申请涉及计算机技术领域，尤其涉及一种spark集群的部署方法和装置，能够避免spark集群在节点扩容及缩容时，带来的操作繁琐且效率低下的问题。方法包括：响应于spark集群的创建请求，获取spark集群的创建信息，创建信息包括spark集群的配置参数和用于部署spark集群的k8s子集群的基本信息；根据创建信息，在用于部署spark集群的k8s子集群上创建spark集群的操作组件，操作组件用于根据spark任务的任务量，在k8s子集群上创建用于执行spark任务的多个执行组件，多个执行组件运行在多个pod中。
spark 集群部署方法装置

[发明专利]一种Spark应用监控方法、系统、设备和存储介质-CN202010386817.2在审
发明人：刘明 -专利权人：深圳市卡数科技有限公司
申请日： 2020-05-09 - 公布日： 2020-08-25 - 主分类号： G06F11/30 文献下载
摘要：本发明实施例公开了一种Spark应用监控方法、系统、设备和存储介质。该Spark应用监控方法包括：在启动Spark应用时添加预先编写的智能监控代码至所述Spark应用；在所述Spark应用运行时根据所述智能监控代码监控所述Spark应用得到监控数据，以判断所述Spark应用是否出现异常情况；若所述Spark应用出现异常情况，则记录所述异常情况并将所述异常情况的异常原因和解决方案通过邮件发送给预设账户。本发明实施例实现了Spark应用监控的智能化。
一种 spark 应用监控方法系统设备存储介质

[发明专利]一种编码指令的处理方法和节点设备-CN201810603360.9有效
发明人：邓长春 -专利权人：杭州海康威视数字技术股份有限公司
申请日： 2018-06-12 - 公布日： 2022-07-01 - 主分类号： G06F9/50 文献下载
摘要：本申请提供一种编码指令的处理方法和节点设备，该方法应用于Spark应用系统中的节点设备，包括：在获取Spark应用系统中可执行的物理计划后，判断是否将物理计划提交到Spark应用系统内设的Spark集群；当判断出将物理计划提交到Spark集群时，在本节点设备作为Spark应用系统的主设备时，将物理计划提交给Spark集群，在采用上述实现方式后，本申请有利于降低Spark应用系统处理作业时消耗的时长，从而有利于提高Spark应用系统处理作业时的效率。
一种编码指令处理方法节点设备

[发明专利]spark任务的提交方法、装置和服务器-CN201911178769.1有效
发明人：汪文星 -专利权人：网易(杭州)网络有限公司
申请日： 2019-11-26 - 公布日： 2022-02-08 - 主分类号： G06F21/46 文献下载
摘要：本发明提供了一种spark任务的提交方法、装置和服务器，方法包括：响应spark任务的创建已完成操作，若基于超级用户进行kerberos权限认证通过，生成包含spark任务的任务参数的spark‑submit命令，并将其代理用户名赋值为spark任务所在项目的创建者对应的用户名；通过该spark‑submit命令提交spark任务。该方法在提交spark任务的同时自动进行kerberos权限认证，提升了认证效率；通过将spark‑submit中的代理用户名赋值为上述创建者对应的用户名，确保了spark任务的创建者和提交者为同一用户
spark 任务提交方法装置服务器

[发明专利]一种诊断Spark应用的方法及装置-CN201910432603.1在审
发明人：王和平;尹强;刘有;黄山;杨峙岳;邸帅;卢道和 -专利权人：深圳前海微众银行股份有限公司
申请日： 2019-05-23 - 公布日： 2019-08-27 - 主分类号： G06F11/36 文献下载
摘要：本发明涉及金融科技领域，并公开了一种诊断Spark应用的方法及装置，其中，方法包括：获取Spark应用的上下文信息，根据上下文信息确定Spark应用的诊断指标和诊断指标对应的指标规则，根据Spark应用的诊断指标，采集Spark应用在运行过程中诊断指标对应的运行信息，并根据诊断指标对应的指标规则对诊断指标对应的运行信息进行诊断，确定Spark应用的诊断结果。本技术方案在Spark应用运行过程中，实时采集Spark应用的运行指标，对Spark应用的运行中的问题进行实时诊断，并提供有效的诊断措施。
诊断指标应用诊断上下文信息应用运行过程科技领域实时采集实时诊断运行过程运行指标诊断结果采集金融

[发明专利]Spark性能优化控制方法、装置、设备及存储介质-CN201910691457.4在审
发明人：陈艳山 -专利权人：中兴通讯股份有限公司
申请日： 2019-07-29 - 公布日： 2021-02-19 - 主分类号： G06F9/445 文献下载
摘要：本发明实施例提供一种Spark性能优化控制方法、装置、设备及存储介质，通过确定出待优化的Spark任务的初始的运行配置参数，然后根据该运行配置参数控制该Spark任务运行，并获取该Spark任务运行过程中的资源占用信息，根据获取到的资源占用信息确定需要对所述运行配置参数进行调整时，基于资源占用信息对该Spark任务的运行配置参数进行调整，也即对Spark任务的运行配置参数根据Spark任务的具体运行情况进行闭环动态调整优化，使得Spark任务运行过程尽可能的对资源进行合理的利用，能够快速提升Spark的性能。
spark 性能优化控制方法装置设备存储介质

[发明专利]一种实现Spark Thrift Server高可用的方法及系统-CN202211588431.5在审
发明人：魏峥;李国涛;周永进;秦雪娇;夏传涛 -专利权人：浪潮云信息技术股份公司
申请日： 2022-12-12 - 公布日： 2023-05-30 - 主分类号： H04L67/54 文献下载
摘要：本发明涉及大数据存储与计算技术领域，具体提供了一种实现Spark Thrift Server高可用的方法，Spark Thrift Server启动时，获取ZooKeeper客户端连接，将Spark Thrift Server信息写入ZooKeeper；当客户端连接Spark Thrift Server服务时，连接时首先请求ZooKeeper服务，获取命名空间下所有Spark Thrift Server节点，通过均衡算法选举一个Spark Thrift Server节点，连接到Spark Thrift Server，当Spark Thrift Server服务停止时，同时需要从ZooKeeper中将节点信息注销。与现有技术相比，本发明当某个Spark Thrift Server节点出现故障时，不会对客户端造成影响，从而实现高可用。
一种实现 spark thrift server 可用方法系统

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 1638 条