|
钻瓜专利网为您找到相关结果 54个,建议您 升级VIP下载更多相关专利
- [发明专利]数据任务执行方法-CN202211554950.X在审
-
程宏亮;王永峰;郭联伟
-
美林数据技术股份有限公司
-
2022-12-06
-
2023-05-26
-
G06F9/455
- 本发明涉及数据任务执行领域,具体设计数据任务执行方法,用于基于Spark的Kubernetes之上的数据任务,其通过增加Local模式和任务管控过程,解决原有集群模式的资源浪费和任务启动时间较长的问题。使用定义容器启动入口的方式完成Spark任务Local模式的引导,完成任务的模式的执行过程的管控。以命令行的方式终止任务进程,解决Kubernetes容器无法快速终止,且无法保持日志的问题。Spark是专为大规模数据处理而设计的快速通用的计算引擎。Kubernetes是管理云平台中多个主机上的容器化的应用。
- 数据任务执行方法
- [发明专利]一种分布式信号数据分析系统-CN202211588225.4在审
-
程宏亮;刘宏;强劲;王锟;李红娟
-
美林数据技术股份有限公司
-
2022-12-12
-
2023-04-11
-
G06F16/182
- 本发明公开一种分布式信号数据分析系统,包括信号数据读取模块,信号数据读取模块包括有HDFS,HDFS搭载分布式计算引擎,信号数据读取模块基于HDFS从信号文件或数据库中的分布式提取数据,将数据分布式读取为信号数据,实现离线的信号数据的IO加速;信号数据与表格数据转换模块,用于将信号数据借助Arrow通信转换为信号DataFrame;信号数据分析模块,用于通过Arrow序列化和反序列化来实现Spark和Python间的数据通信,并基于动态内存加载的信号分析函数引用机制实现分块调用信号分析函数。本发明分调用了Spark集群资源,能够避免单机计算海量信号数据时面临的资源不足的问题,同时提高对海量信号数据分析的执行效率。
- 一种分布式信号数据分析系统
- [发明专利]轻量化的Spark流水线预测模型的构建方法-CN202211470269.7在审
-
程宏亮;罗艺闯;张卫东
-
美林数据技术股份有限公司
-
2022-11-23
-
2023-03-17
-
G06F8/61
- 本发明公开了一种Spark流水线模型的轻量化预测方法,包括:步骤一、基于Spark Transformer的算法模型开发,实现模型参数的配置、模型的训练、保存及预测功能,同时开发基于MLeap Bundle的模型算子序列化方法,以实现Spark模型的轻量化输出。步骤二,基于实现的各算法模型,构建Spark流水线模型,同时记录各算法模型间的依赖关系,进而调用各模型算子Bundle序列化方法,生成轻量化后的Spark流水线模型。步骤三、基于MLeap Runtime依据Bundle中各算法模型的依赖关系,加载轻量化后的Spark流水线模型,提供高性能的模型预测服务。从而实现Spark模型不依赖Spark框架,在不损失准确度的情况下,提供高性能、实时预测功能,同时降低了存储及计算资源的消耗,解决了Spark模型在实时预测场景下耗时长、吞吐量低的问题。
- 量化spark流水线预测模型构建方法
|