[发明专利]一种基于深度强化学习的Spark参数自动优化方法及系统有效
| 申请号： | 202010501737.7 | 申请日： | 2020-06-04 |
| 公开（公告）号： | CN111651220B | 公开（公告）日： | 2023-08-18 |
| 发明（设计）人： | 杜海舟;韩平;张少华;张可可;钱金谷 | 申请（专利权）人： | 上海电力大学 |
| 主分类号： | G06F9/445 | 分类号： | G06F9/445;G06F11/30;G06F11/34;G06F18/2113;G06F18/2135;G06F18/23;G06N3/092 |
| 代理公司： | 南京禹为知识产权代理事务所(特殊普通合伙) 32272 | 代理人： | 朱宝庆 |
| 地址： | 200090 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于深度强化学习的Spark参数自动优化方法及系统，包括，采集Spark运行的原始数据并进行数据预处理；利用PCA+Lasso结合策略对预处理后的数据进行特征过滤和选择，计算特征参数权重得到关键参数；利用关键参数构建基于深度Q网络的参数自动优化模型；对参数自动优化模型进行训练并输出调优结果，得到当前环境下的最优参数配置组合以调控Spark作业运行。本发明通过参数优化策略能够有效地处理Spark平台的参数在线优化问题，优化后的参数配置可以大幅度的提升作业性能，且效果随着作业规模的增加而更加显著，能够有效解决类似大数据平台的参数优化问题，利用Lasso特征选择策略自动选择关键的配置参数，在剔除无用参数的同时提升工作效率。 | ||
| 搜索关键词： | 一种 基于 深度 强化 学习 spark 参数 自动 优化 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海电力大学，未经上海电力大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010501737.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种调度方法、装置及电子设备
- 下一篇：一种LED屏平移摇摆装置
