[发明专利]基于进化神经网络的Spark参数自动优化系统和方法有效
| 申请号： | 202010045384.4 | 申请日： | 2020-01-15 |
| 公开（公告）号： | CN111461286B | 公开（公告）日： | 2022-03-29 |
| 发明（设计）人： | 石宣化;金海;李明玉;胡振宇;张一鹏;宗玉芬 | 申请（专利权）人： | 华中科技大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/12 |
| 代理公司： | 华中科技大学专利中心 42201 | 代理人： | 李智 |
| 地址： | 430074 湖北*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于进化神经网络的Spark参数自动优化系统和方法，属于大数据处理系统性能优化领域。包括：收集不同Spark配置参数下相同Spark应用程序的运行时间，得到训练集，所述训练数据包括：Spark配置参数、Spark应用程序的输入数据集大小和对应运行时间；使用训练集，采用遗传进化的思想训练神经网络模型，得到性能预测模型；使用性能预测模型，通过遗传算法搜索Spark最优配置参数。本发明采用进化神经网络，通过优化网络结构，使神经网络的结构尽可能简单，使用进化策略在现有的神经元中挑选优秀的作为下一代的起点，不断更迭。使用进化策略的神经网络能够更好地避免陷入局部最优，比起梯度下降，进化理论中的算法能够并行，大大减少训练时间。 | ||
| 搜索关键词： | 基于 进化 神经网络 spark 参数 自动 优化 系统 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华中科技大学，未经华中科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010045384.4/，转载请声明来源钻瓜专利网。
- 上一篇：负阻抗电路和相应的设备
- 下一篇：驱动单元小齿轮和安装方法
